Une première construction du château remonte à la fin du XIVè siècle, en pleine Guerre de Cent Ans avant que Jacques de Chazeron fasse l'acquisition de la terre de Pionsat et embellisse le château.
Ses descendants, François et Antoine de Chazeron, eurent dans l'idée d'édifier un château Renaissance encore plus vaste, qui, au terme de sa construction, aurait fait disparaître la forteresse médiévale. Commencée vers 1550, sa construction s'arrêta vers 1610.
Cet édifice inachevé, que Charlotte de Chazeron transmit à la famille Chabannes par son mariage, est, depuis 1920, propriété de la commune de Pionsat. Il est classé Monument Historique.
Photographies réalisées avec un Nikon D40 en Juillet 2008.