La construcción de la fortaleza se inició después del año 1278, cuando Hvar cayó bajo el dominio de Venecia. La fortaleza, junto con las murallas, constituye un sistema de defensa único. Según hallazgos arqueológicos ya desde los tiempos prehistóricos en este mismo sitio había existido otra fortificación. En 1551 se construyó la nueva fortaleza en el lugar de la antigua, que sirvió como refugio para los habitantes durante el ataque otomano en 1571. En 1579 la fortaleza fue gravemente dañada por una explosión de un depósito de pólvora provocada por un rayo. Fue reparada recién a principios del siglo XVII, durante el gobierno del Rector veneciano Pietro Semitecolo, con la construcción de unos bastiones defensivos de estilo barroco. El último cuartel fue construido en la época de la emperatriz María Teresa I de Austria en 1775 y 1776. Hoy en día la fortaleza alberga una colección de ánforas.