In dem Bezirk Hunnegem gab es bereits zur Zeit der Gründung der Stadt im 11. Jahrhundert eine Pfarrkirche.
Die ursprüngliche, romanische Saalkirche wurde im 13. bis 14. Jahrhundert um eine verlängertes Schiff und einen spitzen, gotischen Turm erweitert. Im 14. Jahrhundert erlangte die Kirche Bekanntheit als Pilgerort zu Ehren von Unserer Lieben Frau.
Im Jahr 1624 ließen sich in Hunnegem einige Benediktinerschwestern nieder, die Unterricht erteilten. Die Schwestern bauten in der Gasthuisstraat ein Kloster neben der romanischen Kirche.
Die Kirche verdankt ihr neugotisches Interieur aus dem Jahr 1887 dem Geraardsbergener Künstler Louis Bert de L'Arbre.