E' un dei borghi medioevali meglio conservati della Sardegna ed anche dell'Italia.

Estremamente pittoresco, scaglionato su un cono trachitico, con amplissima vista sul golfo della Asinara, sui monti della Gallura e sulla Corsica.

L'abitato, racchiuso nelle antiche mura, è percorso da strette viuzze e ripide scalinate, ove si vedono talora donne intente ad intrecciare graziosi cestelli e panieri di foglie di palma, giunco e carice, decorati spesso da figure e motivi ornamentali.

Sorto negli anni 1101/02 ad opera della famiglia genovese dei Doria, da cui il suo primo nome Castel Genovese, passò nel 1448 agli aragonesi assumendo il nome di Castell'Aragonese; solo nel 1769 divenne Castelsardo.

Tali dominazioni, sono dovute all'importanza strategica del castello fortificato, era infatti considerato una fortezza inespugnabile, oltre che centro strategico di traffici e commerci.

Il commercio si svolgeva prevalentemente via mare, sin dall'epoca romana, di cui rimangono importanti tracce, quali Baia Ostina (da Baia Agustina), Lu Grannaddu (da Portum Granaticum) e il semicircolare porto di Frigiano, con una torre di difesa.

Le diverse culture susseguitesi , Genovese, Catalana e Piemontese, con cui il paese è stato forgiato, lasciano il loro segno oltre che nel dialetto, nelle attività umane, nel folklore (fra cui l'importante ed unica processione pasquale Lunissanti, risalente al medioevo conservatasi integra nel suo antico rituale suggestivo, che ogni anno richiama l'interesse di tanti turisti e appassionati) ma anche in monumenti: la sede del Municipio, la chiesa francescana di Santa Maria delle grazie con l'attiguo convento, la Cattedrale, del 1500, dedicata a Sant Antonio Abate, che conserva assieme ad altre opere, un'importante ancona che ha al centro una Madonna col Bambino, opera del Maestro di Castelsardo, ritenuto ormai il più importante Pittore Sardo del 1400.

Il paese offre un panorama di singolare bellezza, rappresenta a livello turistico una delle principali mete dell'isola.