En 1209, Simon de Montfort ayant appris qu'Imbert de Cabrières, seigneur de ce lieu, était enfermé dans son château, et craignant un soulèvement dans le Lodévois, à l'instigation du baron de Clermont, ami de Rouger de Béziers, lui ordonna de faire sa soumisssion aux croisés. Il est probable qu'il accéda à cette sommation, surtout apès l'horrible sac de Béziers, puisque nous le voyons figurer en 1210, parmi les seigneurs du Languedoc, présents à l'abjuration de Raymond-Etienne de Servian, dans l'église du monastère de Saint-Thibéry et nous trouvons que ce château fut détruit la même année par ordre des croisés.

Château restauré par Louis IX
A la suite de la confiscation de ce fief, Cabrières tomba dans le domaine royal par la cession faite à Louis IX ; ce roi fit relever le château de ses ruines, y plaça une garnison et nomma un châtelain pour y commander en son nom, ce qui fut continué par ses successeurs.

Prise par les Anglais
Les Anglais, après s'être emparés d'Alignan-du-Vent, se rendent maîtres du château de Cabrières en 1363. Se trouvant à proximité de Clermont ils se ménagent des intelligences dans cette ville.
L'histoire raconte qu'il se trouva dans cette place des citoyens qui formèrent un complot pour leur livrer le château, mais que, grâce à la vigilance et à la fermeté du baron Déodé de Guilhem, ils ne purent venir à bout de leur dessein, ce seigneur ayant menacé de mort le premier qui laisserait échapper un signe de trahison.