Au 3^e siècle il s’agissait d’une cave taillée dans le roc d’une des maisons en bordure de voie, sur la voie reliant Carcassonne à Narbonne, qui servait de lieu de réunion et de culte aux premiers chrétiens de Carcassonne. Les Capucins installés à Notre Dame de l’Abbaye fin 16^e siècle parleront de cette cave comme lieu de sépulture, à ce jour cet endroit n’a pas encore été retrouvé.

Une église a été construite sur la cave, grotte, crypte elle s’appelait Sainte-Marie de Grâce. Nous savons par les Sarazins qui ont envahi la Septimanie, qu’elle était décorée de sept colonnes d’argent et était un lieu de pèlerinage important tous les ans à date fixe vers le 15 août. Cette église fût détruite complétement.

A l’époque Carolingienne (926) une nouvelle église fût construite, elle porte le nom de Sainte-Marie du Saint-Sauveur.

En 1096 le pape Urbain II célébra la messe dans cette église et alla à la Cité bénir les matériaux de construction de la Cathédrale romane en construction.

Lors du siège de Raymond Trencavel II en 1240, l’église et les bâtiments furent détruits au trois quarts. En 1247 Saint Louis accorda son pardon et obligea les gens de Carcassonne à reconstruire les ruines de l’église Sainte Marie.

Dans la seconde moitié du 16^e siècle les guerres de religion ont détruits toutes les sculptures et la toiture de l’église.

Les Capucins  la trouvèrent dans cette état ils l’ont restauré et construit leur couvent tel qu’il est actuellement.

Depuis le 12^e siècle l’église est appelée Notre-Dame de l’Abbaye. Depuis le transfert du siège de la Cathédrale à la Cité, elle est desservie par un chapitre de Chanoines religieux, qui suivent la règle de Saint Jérôme et donnent le titre d’abbé à leur supérieur, d’où le titre d’abbaye donné à leur église.