Seul témoin de ce passé: le Château, immense forteresse, où les arbres se sont enracinés jusqu'au sommet des tours. Il est difficile de préciser à quelle date il fut construit. On pense qu'une première tour existait déjà au Xème siècle. Un château aurait été construit au XIème siècle par Jacob de Viverols et aurait été détruit par l'ordre de Louis XI. L'édifice n'aurait été reconstruit qu'au XIIIème siècle par les 'De Baffie'. Au cours des siècles le château subît de nombreuses modifications : besoins militaires, raisons esthétiques.

Lors de la révolution de 1789 le château faillit tomber sous la pioche des démolisseurs.En janvier et avril 1794, la municipalité autorisa la démolition du corps de garde et le découronnement des trois grosses tours du front Nord.

  Il ne reste plus du château de VIVEROLS que des ruines. Mais ces ruines ont encore belle allure et donnent à ce petit coin d'Auvergne, beaucoup de caractère.