Malgré les querelles qui agitent le clergé local, la chapelle de Notre Dame d’Arcachon devient célèbre dès 1520, dans le Pays de Buch et même au-delà. A partir de 1626, le 25 mars, on y vient en pèlerinage à pied et en péougue de tout le Bassin, mais beaucoup d’autres pèlerinages ne manquent pas depuis que la chapelle a été reconstruite en pierre, grâce à la générosité exclusive des Testerins. A tel point que, le 11 mai de cette même année 1626, le cardinal de Sourdis conseille aux Gujanais de venir prier la Vierge arcachonnaise pour se débarrasser d’un mal mystérieux. Oscar Déjean, qui cite le fait, ajoute, sans plus de précisions "que l’on n’invoqua pas en vain la Consolatrice des affligés". Et cette ferveur ne diminue point, puisqu’en 1832 et en 1849, deux siècles plus tard, les Gujanais se lancent en pèlerinage pour se préserver des ravages du choléra.

Retour en arrière : en 1689, sur l’ordre de Monseigneur d’Anglure de Bourlemont, archevêque de Bordeaux, on embellit la chapelle, sa fenêtre se trouve dotée d'une grille en fer et sa porte d’une serrure. En 1695, on reconstruit sa charpente. L’affaire entraîne un conflit entre le curé de La Teste, son conseil de fabrique et l’aumônier d’Arcachon. Mgr de Bourlemont, assez fâché, doit arbitrer la querelle. Mais le prélât l’apaise à peine puisque, peu d’années après, l’aumônier mécontent se retire et le curé de La Teste desservira seul la chapelle. Une chapelle qui a, jusque là, attisé les rivalités cléricales.

Mais des événements bien plus graves vont se produire, dépassant largement les querelles de clochers. Voilà, raconte Oscar Dejean, qu’au cours de l’assemblée paroissiale du 13 avril 1719, le marguillier Jean Baleste-Guilhem alarme les populations : la chapelle arcachonnaise s'ensable ! Une commission se rend aussitôt sur place, fait des projets de préservation puis décide qu’il est urgent d’attendre. On n’attendra guère car, le 9 novembre 1721, le curé de La Teste, M.Cocard, annonce à ses ouailles que la chapelle est entièrement recouverte par les sables ! Alors, les familles Baleste et Peyjehan, dont les ancêtres se sont farouchement disputés en 1624 autour du lieu saint, se réconcilient et mettent la main à la bourse d’où ils tirent 1600 livres. L’église de La Teste y ajoute huit cents livres tandis que les Peyjehan donnent trois mille mètres-carrés de terrain.

Le nouvel édifice, celui dont on connaît aujourd’hui une partie à l’est de la basilique, s’achève en 1723. Il compte trois autels, la voûte et les murs sont recouverts par des boiseries peintes et par de nombreux ex-voto. Un ermitage est construit pour l'aumônier. De nombreux objets de valeur entourent et parent la statuette, excitant les convoitises.