Le site de Notre-Dame d’Ay date d’avant Jésus-Christ. Là se tenait un autel païen dédié à la déesse Isis qui attirait déjà beaucoup de monde. Situé à la jonction de plusieurs voies romaines, un fort y fut construit commandé par Aygus, l’Allobroge, qui donna son nom au territoire et à la dynastie des seigneurs d’Ay qui élevèrent dès le IXème siècle le château-fort. Celui-ci passa à la Famille de Tournon qui le remania au XVème et XVIème siècle, pratiquement tel qu’il est aujourd’hui, en bon état de conservation. Dès le début de la chrétienté, une chapelle fut construite et dédiée à la Vierge. A la fin du XIIème siècle, on y honorait une vierge noire semblable à celle actuellement placée dans la chapelle ; les pèlerins affluent. Au XVIème siècle débutent les processions des paroisses du plateau d’Annonay, venant demander la cessation des épidémies de peste ou des fléaux naturels.

Dès le début de la chrétienté , le culte de la Vierge Marie a remplacé celui de la déesse-mère Isis. 

La chapelle

En 776, Charlemagne signifie la possession de la chapelle aux Bénédictins de St-Claude qui deviennent chapelains d’Ay. En 1184, Frédéric Barberousse confirme à l’évêché de Vienne cette donation.
Avant de partir avec Frédéric Barberousse pour la 3ème croisade, Odon de Tournon et le seigneur d’Ay viennent se mettre sous la protection de N.D. d’Ay. Est-ce eux qui ont rapporté de Terre Sainte la vierge noire ?
L’actuelle, copie de la précédente disparue au cours des Guerres de Religion, date de la fin du XVIème siècle, refaite par Claudine de la Tour de Turenne de Tournon.

Premier agrandissement de la chapelle :
A la fin du XVIIIème, l’abbé Laurent devient le premier chapelain d’Ay, période à partir de laquelle le curé de St-Romain-d’Ay assure la charge du sanctuaire.
En 1793, un certain Farigoule achète la chapelle et l’habite, lui évitant ainsi la destruction par les Révolutionnaires. Il entreprend les premiers travaux d’agrandissement.

Deuxième agrandissement :
Au début du XIXème siècle, l’ensemble du site passe aux mains de Mme de la Rochette qui durant trois ans fait agrandir et embellir la chapelle : élévation de murs, création de la voûte actuelle, construction du chœur et du clocher, encadrement de la grande porte par un frontispice. Mgr Bonnel, évêque de Viviers, procède à son inauguration en 1836, date de l’érection du grand chemin de croix. C’est à cette époque que la propriété est donnée au diocèse et que les Jésuites s’y installent jusqu’en 1954.

En 1890, une immense statue de bronze est posée sur le clocher; N.D. d’Ay est consacrée, sur autorisation du pape Léon XIII, « Reine du Haut-Vivarais ». Le centenaire de cet événement a été fêté très solennellement en 1990 en présence du nonce apostolique.

Le château

Aujourd’hui, on aperçoit encore un menhir enchâssé dans un rempart et des murs romains enclavés dans le donjon. Au VIIIème siècle, Charles Martel qui restructure le Royaume de France nomme Albert d’Ay à la tête du mandement d’Ay qui devient une puissante et importante seigneurie.

En 1236, Artaud de Roussillon, seigneur d’Annonay, en devient propriétaire. Il fait surélever l’un des donjons jusqu’à une hauteur de 45 m, signe de sa puissance. De 1382 à 1644, le château d’Ay appartient à la Famille de Tournon. Qualifié de « seigneur magnifique et puissant », Jacques de Tournon fait aussi surélever le donjon central où il donnera de grandes fêtes ; il règne alors sur Tournon, Iserand, Serrières, Mahun, Seray, Vocance, Eyras et La Tour du Pin.

Aux XVIIème et XVIIIème siècles, la seigneurie passe de famille en famille au gré des mariages, ventes ou successions. On retrouve parmi d’autres comme propriétaires les Ventadour, Louis du Faure, MM. Chaves de la Chavat et Fournat… La Révolution ne détruira pas le site.

Puis M. de la Rochette de Bobigneux hérite du domaine qui, laissé à l’abandon puis pillé, présente un piteux état. Sa veuve, née Jeanne-Françoise de Laborie, installée tout près au château du Plantier en fera don au diocèse. L’ensemble est aujourd’hui dans la région  le seul de cette époque à être quasiment entier et en état d’origine.