Sur un site probablement occupé de toute antiquité (une légende non vérifiée y localise un temple d’Apollon), le château est cité depuis la fin du IXe siècle. Les vicomtes héréditaires du Velay le possèdent depuis au moins le XIe siècle, en prennent le nom et y font leur résidence ordinaire jusqu’au début du XVIIe siècle. Ces vicomtes de Polignac joueront un rôle au premier plan en Velay jusqu’à nos jours. Autour de leur place forte principale, ils bâtissent ou acquièrent de nombreuses forteresses dans l’actuel département de la Haute-Loire, ceux du Cantal de la Lozère, du Gard, du Puy-de-Dôme. On les retrouvera à Ceyssac, Bouzols, Salzuit, Lavoûte, Solignac etc.
Dans leur forteresse de Polignac, le logis seigneurial est sans doute reconstruit en dur au XIIe siècle, époque où une lutte sans merci oppose les Polignacs aux évêques du Puyà propos des péages sur les routes de pèlerinage. Il est rassuré et agrandi à la fin du XVe siècle ou au début su suivant.
Le bastion imprenable des royalistes
Le donjon désigné comme la « grosse tour » dans les sources anciennes, est construit par Randon Armand X, vicomte de 1385 à 1421, comme l’indique une inscription latine, puis réparé en 1565 par Philiberte de Clermont. Le château qui reçoit la visite de François 1er en 1533, devient à la fin des guerres de religion le bastion imprenables des royalistes face au Puy ligueur. Abandonnée au cours du XVIIe siècle par les vicomtes qui lui préfèrent le château de Lavoûte-Polignac, la forteresse déjà en ruines sera épargnée par la Révolution. La famille de Polignac rachète les ruines à son retour d’émigration et fait rétablir les couronnements du donjon (voûte à charpente métallique et parapet à mâchicoulis) de 1893 à 1897, d’après les gravures anciennes.
Source: Régis THOMAS Châteaux de Haute-Loire dix siècles d'Histoire
L'histoire d'une puissante forteresse 