Ce fut la 3ème église, consacrée en 1527, elle est construite dans un style ogival en forme de croix latine à nef unique.

Cette nef comporte 4 travées inégales voûtées d'ogives quadripartites. Elle fut interdite au culte en 1774.
Elle doit son nom actuel à son affectation à la Confrérie des Pénitents blancs, confrérie restée très active à Caumont jusqu'en 1905.

A l'intérieur, on peut admirer un tableau représentant un Pénitent cagoulé et un évêque en armure au pied du Christ, et à droite de l'autel, la chapelle privée de la famille Pérussis-Seytres coseigneurs de Caumont de 1483 à 1622