L’histoire de l’église de Pont-L’Abbé commence en 1383 avec l’installation de religieux de l’Ordre du Mont-Carmel.
Cette fondation, soutenue par le baron Hervé Du Pont et son épouse Péronelle de Rochefort fait suite aux premières fondations Carmes en Bretagne à Ploërmel à la fin du XIIIème siècle puis à Nantes et Saint Pol de Leon au XIVème.
L’Ordre du Mont-Carmel avait été introduit en France au siècle précédent, lors du retour de croisade de Saint Louis en 1254.

Parmi les épisodes qui ont marqué l’histoire de l’église Notre-Dame des Carmes, on peut noter le pèlerinage à Saint-Anne d’Auray en 1633 après que la peste ait sévi à Pont-L’Abbé. Au retour des pèlerins fut érigé l’autel à Sainte Anne en ex-voto, ce qui explique son style XVIIème qui contraste avec le reste de l’édifice.

La révolution fut également un tournant dans l’histoire de l’église et surtout du couvent des Carmes. En 1791, le couvent fut vendu comme bien national, de même que le cloître. De conventuelle, l’église Notre-Dame des Carmes devint paroissiale.

L’histoire du cloître fut dès lors séparée de celle de l’église. Bien que classé monument historique, ce cloître fut démonté en 1880. Les pierres numérotées trouvèrent un temps place au château de Kerhuel en Plonéour-Lanvern avant d’être rachetées en 1902 par l’évêque de Quimper pour le remonter dans le grand séminaire d’alors. Lors de la séparation de l’église et de l’Etat en 1905, cet édifice eut diverses destinées. C’est actuellement le lycée Chaptal de Quimper

Les différentes parties du couvent, devenu école communale, furent progressivement détruites et il n’en reste aujourd’hui plus rien sauf quelques murets de jardin.

En 1914, l’église est classée monument historique.

Quelques informations sur les chantiers de restauration de l’église:
En 1962 : réfection des dômes octogonaux du clochers et des 3 cloches

En 1993 : une ancienne porte d’accès au cloître fut réouverte pour permettre l’accès des handicapés à l’église.
En 2000, réfection de la toiture de l’église.
En 2011, les confessionnaux, dont deux du XVIIème siècle et deux du XVIIIème ont été restaurés.
En novembre 2012, réfection de l’éclairage intérieur de l’église.

Le clocher souffrant des infiltrations murales d’eau, en janvier 2013, les planchers des niveaux 2 et 3 sont refaits, puis en juin les piliers de la tribune du fond.

En 2017, le calvaire des Carmes retrouve sa place devant l’église

En 2018, restauration du rez de chaussée de la sacristie et de l’extérieur du mur sud

Parmi les projets pour les années à venir, on trouve l’aménagement plus pérenne d’un placitre devant l’église autour du calvaire, l’achèvement de la mise hors d’eau du clocher avec le dépoussiérage de l’orgue, la restauration de la statuaire, la rénovation du chauffage. la réfection de l’éclairage et la restauration de quelques vitraux.