Un procès fut porté devant la cour du parlement de Toulouse par ce châtelain, demandant aux consuls l'exécution de cet ordre. Les habitants de Pézenas répondirent qu'ils avaient accepté la garde de ce château et non son entretien. Une transaction intervint entre les parties, qui mit fin au débat.
Il y est dit : "Les consuls de Pézenas seront tenus de faire les menues réparations, et les gros travaux seront faits aux frais du roi notre sire, seigneur de Cabrières."
Vingt ans après ce traité, les consuls de Pézenas adressent une requête à Charles VIII, roi de France, dont nous avons extrait les passages suivants :
"Le château de Cabrières est dans un état de délabrement tel, que les menues réparations ne lui sont d'aucune utilité ; que les murs tombent en ruine à défaut des grosses réparations, que les habitants de Pézenas, obligés d'entretenir les remparts de leur ville et le château, ne peuvent suffire à l'entretien de celui de Cabrières, etc., supplient le roi de les dispenser de cette charge."
Par lettres patentes de ce même roi, à la date du 8 octobre 1495, le traité passé entre le châtelain de Cabrières et les consuls de Pézenas est mis à néant, et les habitants de cette ville sont dégagés de fournir aux menues réparations du château, objet du litige.D_cembre2012_016

Ordre au religionnaires de le remettre aux troupes royales
Pendant les luttes entre Joyeuse et Montmorency, le château de Cabrières tomba successivement au pouvoir des catholiques et des religionnaires. Le baron de Faugères, de Narbonne-Caylus, s'en empara en 1581 et s'y trouvait en 1584.
Il fut tenu à ce propos, la même année, à Pézenas, une assemblée de catholiques et de protestants, où se trouvèrent auprès du duc de Montmorency, M. de Châtillon, avec les députés des villes du bas Languedoc, et M. de Clermont-d'Entragues, de la part du roi, où il fut résolu, qu'en exécution des articles de l'édit de pacification du traité de paix de Fleix, on rendrait tous les lieux occupés par les religionnaires aux environs de Pézenas. Villeneuve-la-Cremade (près de Béziers) fut remis par son gouverneur aux troupes royales ; mais le château de Cabrières ne fut point rendu, de Narbonne-Caylus s'y étant formellement refusé.

Destruction
En 1584, l'assemblée des États de province ayant décidé que cette forteresse serait rasée et démantelée, comme repaire de voleurs et de brigands, elle fut abandonnée par les religionnaires et démolie l'année suivante.
Ainsi fut détruite cette place qui avait joué un rôle important dans les luttes politiques et religieuses dont le Languedoc fut le théâtre. (XIIe-XVIIe siècle).

Tiré de l'Hérault historique - Albert Fabre et Paul Fabre