Gradnja gradske tvrđave počinje nakon 1278. godine, kada Hvar dolazi pod vlast Venecije. Tvrđava sa gradskim zidinama čini jedinstven obrambeni sustav. Godine 1551. sagrađena je nova tvrđava na mjestu stare, a 1571. godine prilikom turske provale pružila je zaštitu pučanstvu koje se u njoj sklonilo. Godine 1579. tvrđava je znatno oštećena u eksploziji skladišta baruta, kojeg je izazvao udar groma. Popravljena je tek početkom 17. st. za vrijeme kneza Pietra Semitecola, izgradnjom baroknih obrambenih bastiona. Posljednja vojarna sagrađena je u vrijeme Marije Terezije 1775. - 1776. U tvrđavi je smještena zbirka amfora.