Depuis le VIe siècle, les comtes de Rouergue ont été à la tête d’un ensemble territorial qui a évolué au fil des siècles, le comté de Rouergue.
Les premiers comtes ont la faveur de Charles le Chauve qui leur donne aussi le comté de Toulouse. Le capitulaire de Quierzy, promulgué en 876, permettra l'hérédité de la fonction comtale.
Ils ne doivent pas être confondus avec les comtes de Rodez, qui sont apparus au XIIe siècle. Lorsque le comté de Rouergue a été réuni au comté de Toulouse, le comte de Toulouse et de Rouergue a placé un vicomte à Rodez, capitale du Rouergue. Ce vicomte prend plus d'importance avec le temps et rachète des droits au comte lorsque ce dernier part aux croisades, et s'intitule ensuite comte de Rodez.
Quelques comtes sont mentionnés sporadiquement avant le règne de Charles II le Chauve :
Entre 1065 et 1080, le Rouergue est conquis par Raimond de Saint-Gilles, frère du comte de Toulouse Guillaume IV (v.1040 † 1092). Il s'agit d'une réunification au profit de la branche toulousaine des Raimondins.

En 1271, le Rouergue est rattaché au domaine royal.