Splendido esempio di architettura barocca, la chiesa venne eretta nel luogo dove, secondo la tradizione agiografica, nel 348 l’eporediese San Gaudenzio trascorse una notte, e la roccia da lui usata come giaciglio conservò l’impronta del suo corpo.

Nel 1714, il prevosto della Cattedrale Lorenzo Pinchia e suo cugino, il priore Giovanni Antonio Pinchia, promossero la realizzazione della struttura che venne costruita tra il 1716 e il 1724. Nel 1734, nella zona posteriore fu aggiunta la sacrestia con il coro superiore, mentre nel 1742 venne elevato il raffinato campanile, caratterizzato da quattro balconcini panoramici. Il progetto della chiesa rimane di autore ignoto: l’ipotizzato intervento dell’architetto Bernardo Antonio Vittone nella fase terminale della progettazione non ha sinora trovato riscontri oggettivi; sembrerebbe più attendibile, anche se non documentata, l’attribuzione dei disegni all’architetto Luigi Andrea Guibert, molto attivo in città tra il 1714 e il 1719.

All’interno della chiesa, gli affreschi del pittore Luca Rossetti da Orta, eseguiti negli anni 1738-1739, rivelano le qualità dell’artista come sapiente organizzatore di spazi illusionistici e maestro nell’inscenare personaggi ammantati e solenni accanto a episodi di minuta narrazione.

Tra le composizioni, si segnala la scena della processione che esce dalla chiesa di San Gaudenzio: l’opera pittorica, che presenta sullo sfondo un paesaggio della città di Ivrea, mostra in primo piano il corteo religioso che prende avvio dalla chiesa ancora priva di torre campanaria, e con la facciata ornata da statue.

Ad arricchire di valenza simbolica il luogo sacro contribuisce infine l’altare marmoreo policromo, collocato sull’incavo della roccia, ovvero su quel miracoloso segno lasciato dal corpo dormiente di San Gaudenzio, visibile attraverso la grata che chiude la parte frontale bassa dell’altare.