C’est à cet emplacement que saint Ivy aurait établi son oratoire à la fin du VIIe siècle. 

Le premier édifice aurait été l’église paroissiale de Pontivy, supplanté vers la fin du XVème siècle par l’église Notre-Dame-de-Joie.

L’actuelle chapelle Saint-Ivy a été construite en 1770 (date sur l’élévation antérieure sud).

Remaniements : 2ème moitié du XIXème siècle (élévation ouest).

Saint-Ivy, notamment depuis la fin du XVIIème siècle, était plus spécialement affectée à une congrégation des artisans de la paroisse, érigée en l’honneur de la Sainte Vierge, sous le titre de la Purification de Notre-Dame.

Une ordonnance du duc de Chaulnes en 1685 précise la participation de cette congrégation à la procession du roi. En 1736, la congrégation compte 180 membres