Les Compagnies franches s'emparent de Cabrières et plusieurs châteaux de la viguerie de Béziers.
Cette prise eut lieu l'an 1380, la nuit de Ste-Lucie (13 décembre). Benezeg Chipparel et Bastart de Landorra, capitaines d'armes, montèrent à l'assaut de cette forteresse. Il est probable qu'ils avaient des intelligences dans la place ou que la renommée de ces aventuriers suffisait pour leur faire ouvrir les portes des châteaux de la contrée.
Après avoir visité le roc sur lequel s'élevait le château l'on se demande comment, dans une nuit de décembre, l'on pouvait monter sur ce rocher entouré de murailles, lorsque de jour  nous avons eu toutes les peines pour arriver sur la plate-forme.
De ce point, ces aventuriers firent des excursions dans les plaines de Gignac et de Pézenas, commirent un grand nombre de dépradations, pillèrent et ravagèrent ces contrées.
Ils s'établirent à Fontès, Péret, Lieuran et Aspiran, postes qui défendaient les passages de la vallée de Boyne. Il est probable qu'ils occupaient aussi l'église de St-Géry-d'Arques, ancien fort crénelé sur une montagne très élevée qui commande la vallée de la Dourbie et le passage de Clermont à Cabrières, et d'où la vu s'étend à plus de dix lieues à la ronde.

Cession du duc de Berry
Le château de Cabrières fut vendu par ces aventuriers au duc de Berry ; mais soit qu'il n'eut pas tenu ses engagements, chose assez commune à ce prince, soit afin d'avoir un refuge assuré en cas d'un soulèvement contre leurs exactions dans la province, ceux-ci l'attaquèrent de nouveau et s'en emparèrent de vive force.
Le duc d'Anjou, gouverneur du Languedoc, attaqua à son tour cette forteresse, mais il fut bientôt forcé d'en abandonner le siège. Ces deux princes se disputaient le gouvernement de la province, ce qui explique l'alliance du duc de Berry avec les capitaines Bénézet et Bastard, dans le but, sans doute, de contrarier son compétiteur le duc d'Anjou.

Deuxième prise par les Anglais
Les Anglais occupent une seconde fois le château de Cabrières et le gardent quelques années. 
Rentré sous l'autorité royale après le départ de ces derniers, ce fort fut placé par le roi sous la garde et la surveillance des consuls de Pézenas.
Le 4 août 1475, ceux-ci adressent une réquisition au trésorier royal de la sénéchaussée de Carcassonne pour l'inviter à faire réparer le château, dont ils ont la garde.
Des lettres royales ayant été adressées par le sénéchal au châtelain de ce lieu, avec ordre de contraindre les consuls de Pézenas à réparer ledit château, ces derniers s'y refusèrent.