La costruzione della fortezza cittadina iniziò dopo il 1278, quando Hvar passò sotto il dominio veneziano. La fortezza, assieme alle mura cittadine, costituisce un sistema di difesa unico. In questo stesso luogo esisteva una sorta di fortificazione presente sin dalla preistoria, la cui testimonianza ci è data anche dai reperti archeologici. Nel 1551, al posto della vecchia, venne costruita una nuova fortezza, la quale fornì protezione alla popolazione che durante l'invasione turca del 1571 si rifugiò in essa. Nel 1579 la fortezza fu gravemente danneggiata dall'esplosione di un deposito di polvere da sparo, causata da un fulmine. Venne riparata solo all'inizio del XVII° secolo, al tempo del principe Pietro Semitecolo, con la costruzione dei bastioni difensivi barocchi. L'ultima struttura fu edificata durante il regno di Maria Teresa, tra il 1775 e il 1776. Nella fortezza trova spazio una collezione di anfore.