El Castell de Sales és sens dubte el referent històric més important del poble. El Castell fou cap d’una Baronia que a més del poble de Sales (inclou Sadernes, Gitarriu, St. Grau d’Entreperes i Monteia) comprenia els pobles de Tortellà, Argelaguer i Palau de Montagut.
Avui aquest castell, de propietat privada, encara és habitat tot i que actualment li convindria una bona restauració.
Després, i successivament, veiem en el domini senyorial de Sales els llinatges d’Empúries (1257), Rocabertí (1297), Cornellà (1339), Malart (1360). Jerònima de Malart es casà l’any 1593 amb Carles d’Alemany i de Bellpuig, de Tortellà, donant entrada a aquesta família en l’arbre genealògic dels Sales, i després d’ella successivament al Ros i als Ortafà.
El bressol del casal de Sales fou el llinatge dels Oriol, barons del Comtat de Besalú, segons sembla, foren els més fidels vassalls dels comtes de Besalú, almenys així ho manifesta el comte Senofred quan es refereix a Oriol de Tortellà, fundador de la dinastia l’any 966. El seu fill Joan Oriol es casà amb Adaler, germana del Comte Bernat Tallaferro.
Els Malart aconseguiren un total domini de la Baronia, donant-li la màxima esplendor des de la seva creació, cosa que queda palesada quan l’any 1537 l’Emperador Carles I fa una sentència en la qual determina que el Castell de Sales és “un castell complet i acabat”, amb totes les prerrogatives que això li confereix: dret a tenir soldats, notari, batlle, a jutjar i emetre sentències en robatoris i baralles, a percebre delmes, censos, etc. L’últim notari de la Baronia de Sales fou Antoni Gafas, a final del segle XIX.
[Bibliografia recomanada: Castillo de Sales y sus términos del notari Joaquim Matas, membre de la Societat Agrícola, Científica i literària dels Pirineus Orientals, editat a Olot l’any 1905.]