La légende attribue la fondation du château de Bruniquel à la reine Mérovingienne BRUNEHAUT au 6ème siècle. Propriété des comtes de Toulouse au 12ème siècle, le château sera partagé deux siècles plus tard entre deux branches de la Maison de Comminges, ce qui explique la division en "château vieux" et "château jeune".
Les cours intérieures sont entourées de bâtiments d'époques très différentes, chaque siècle ayant laissé son empreinte.
Le château vieux a conservé son donjon du 12ème siècle, appelé aussi "tour de la Reine Brunehaut" et son corps de logis (13ème siècle). La partie Nord a été profondément remaniée aux 18ème et 19ème siècles, une galerie ornée de style Renaissance surplombant la vallée de l'Aveyron.
Le château jeune construit entre 1485 et 1510 a subi quelques remaniements à la fin du 17ème siècle comme le montre la porte d'entrée intérieure au décor baroque ainsi que la cheminée en bois sculpté située dans la salle d'apparat.
Les châteaux sont classés monuments historiques depuis 1840. Ils ont servi, en partie, de cadre au tournage du film de Robert Enrico "le Vieux Fusil", avec Romy Schneider et Philippe Noiret. Acquis par la commune en 1987, les châteaux font l'objet d'un programme de restauration, dont la présentation d'objets préhistoriques dans la cave voûtée constitue la première étape.