Os primeiros dados históricos relativos ao local do Château de Villerouge-Termenès datam do século XII. Naquela época e até a revolução francesa, os poderosos arcebispos de Narbonne eram os Senhores do castelo e da vila de Villerouge - Termenès. Mesmo assim, o castelo era muito cobiçado e ocupado várias vezes.
De fato, em 1107, o Papa Pascal II teve que confirmar o Arcebispo Richard como legítimo proprietário de Villerouge, que havia sido ocupado por Pierre de Peyrepertuse desde 1070. Este último deu o castelo como dote para sua filha quando ela se casou com Pierre Olivier de Termes. É somente em 1110 que a família Termes finalmente aceitou devolver a propriedade ao Arcebispo de Narbonne.
Mas a luta entre os senhores de Termes e os Arcebispos de Narbonne não parou então. Em 1227, o Papa Honório III instou seu legado a confirmar os direitos do Arcebispo contra o chefe da cruzada, Simão de Montfort, e Seu vassalo, Alain de Roucy. Simon De Montfort tinha dado o Título e possessões de Termes para de Roucy, que ameaçou assumir Villerouge também.
A aldeia está intimamente ligada ao declínio da Igreja cátara: em 1321, Guilhem Bélibaste, o último occitano Cathar perfectus conhecido, foi queimado vivo em Villerouge-Termenès. Guilherme Bélibaste foi iniciado no catarismo e se tornou um perfeito enquanto se escondia na Catalunha. Como apenas perfectii poderia transmitir a religião, por uma cerimônia de imposição de mãos, sua morte significou o fim da religião cátara.
