Depuis plus de mille ans, la tour de Peyrebrune trône sur son puech granitique surveillant de sa position stratégique, la Vallée de l'Alrance. Remontant vraisemblablement à l'époque carolingienne (IX^ème siècle), Peyrebrune semble avoir été le siège d'une vicomté (pouvoir administratif local). On trouve des traces de la famille éponyme au cours du XII^ème siècle dans le cartulaire de l'Abbaye de Bonnecombe où on retrouve de nombreuses donations des Peyrebrune. Leur puissance est également attestée  dans de nombreux autres dons faits aux monastères environnants. Puis à la fin de cette période, les Peyrebrune disparaissent des sources écrites sans aucune explication donnée à ce-jour. Dès lors, le Comte de Rodez, maître incontestable des lieux, profite de l'occasion pour arranger ses propres affaires et surtout de se désengager de ses obligations vassaliques pour Peyrebrune envers l'Evêque de Rodez avec qui l'entente cordiale n'est absolument pas de mise. Pour cela, il profite des déboires du seigneurs du Vallon de Marcillac, Archambault de Panat pour régler ses probèmes. Ce dernier, déjà précédé par une réputation sulfureuse, s'est compromis dans le meurtre d'un moine de Conques. Pour apaiser ses poursuivants, Archambault accepte la proposition du Comte de Rodez d'échanger leurs possessions respectives et de devenir le nouveau seigneur de Peyrebrune. Il  prête donc hommage au Comte en 1238  ainsi que pour sa décendance.

La quiétude s'installe, mais reste relative. Le siècle suivant le Rouergue passe aux mains des Anglais après le Traité de Brétigny. La région est alors dirigée par le fils d'Edouard III, le Prince de Galles plus connu sous le nom du « Prince Noir ». Les exactions de l'occupants se multiplient. La tradition orale raconte que le prince aurait séjourné dans le tour de Peyrebrune même, pendant un laps de temps qu'il lui aurait permis de cacher ses butins arrachés lors de ses diverses campagnes. La légende du veau d'or est née et se perpétue encore de nos jours.

Pendant des siècles les familles vont se succéder à la tête de la seigneurie de Peyrebrune. En 1428, les Lévis remplacent les Panat. Au même moment, ils semblent que les seigneurs délaissent la tour  pour Villefranche-de-Panat afin d'habiter  une demeure plus cossue et confortable. Ensuite, viendront les Castelpers, convertis au protestantisme. Jean III de Castelpers, aidé de son frère, des seigneurs de la Vacaresse et des Hèbles, s'illustre comme chef du parti calviniste languedocien pendant les Guerres de Religions qui frapperont le Royaume de France. Il participe à de nombreux combats contre le parti catholique. Pour preuve, en 1538, l'épisode de la Croix des Mertriers proche d'Alrance où les Catholiques subiront de graves pertes suite au piège imaginé par les seigneurs protestants locaux.Il s'en suivra la destruction de la tour de Peyrebrune qui symbolisera le prix à payer pour l'engagement de ces nobles contre l'Etat. Richelieu la fera démenteler en 1630. Laissée à l'abandon, elle subira la déterioration du temps.

Paradoxalement, Peyrebrune restera le siège administratif local. A la Révolution, elle sera vendue et deviendra le chef lieu d'une commune couvrant le territoire actuel d'Alrance et de Villefranche-de-Panat et  ce jusqu'en 1843. A la fin du XIX^ème, la tour est en piteux état. Il faut attendre l'intervention des frères Lamouroux, curés d'Alrance, pour qu'une restauration soit engagée. En 1897, l'un des deux fait construire la chapelle extérieure, l'escalier et la terrasse mais surtout il fait installer une statue de la Vierge en son sommet. De là, ils instaureront un pélerinage le dernier week-end du mois d'août qui a lieu aujourd'hui encore. C'est en 1999 que la tour est rachetée par la commune d'Alrance au comité paroissial puis mise en valeur par le travail des architectes des Bâtiments de France.

Séparés depuis la fin du XIX^ème siècle, les bourgs de Villefranche-de-Panat et d'Alrance ont  à nouveau lié leur destin lors de la construction du lac et du barrage dans les années 50. Villefranche-de-Panat, ancienne bastide est devenue dès lors une commune touristique avec tout l'intérêt que cela représente. Pour preuve, la construction des différents hébergements dès les années 60 : IGESA, camping municipal, colonnies de vacances etc ... Le tourisme est devenue un des trois éléments essentiels de la structure économomique communale. Il a contribué à la vie de la cité panatoise au même titre que l'agriculture et le commerce-artisanat. Les visiteurs fraîchement arrivés y chercheront un certain tempsl'église qui d'ordinaire trône au centre des bourgs. Mais chose étrange ou plutôt aléas de l'Histoire, c'est le hameau de La Besse, distant d'un kilomètre qui en est l'heureux propriétaire. Seules traces d'une occupation ancienne, la commune possède quelques exemplaires de dolmens trônant encore dans les champs environnants comme les dolmens de Saint Louis et de Bétouille.. Quant au destin d'Alrance, avec qui Villefranche ne formait qu'un, hier encore, reste liée à sa voisine par l'étendue d'eau dont elle possède une partie située au Nord. Elle compte également une centrale électrique d'EDF qui reçoit par une conduite forcée les eaux du lac de Pareloup. Ayant subi l'exode rural comme un grand nombre de communes françaises, Alrance profite de l'élan touristique pour retrouver un nouvel essor.