Zamek Carisbrooke jest jedynym zachowanym średniowiecznym zamkiem na wyspie Wight. Został on zbudowany na rzymskim terenie. Prace ziemne nad zamkiem rozpoczęto w 1070 roku. Muszla koncertowa została zbudowana na tym miejscu około 70 lat później. Nie zachował się żaden z normańskich budynków mieszkalnych. Dom bramny z wieżami bębnowymi pochodzi z XIV i XV wieku.
W 1377 roku na wyspie wylądowali Francuzi, ale zamek nie został zaatakowany.
W czasach elżbietańskich udało się uniknąć groźby hiszpańskiej inwazji, gdy hiszpańska Armada została odrzucona w pobliskiej bitwie. Zamek został jednak znacznie przebudowany, aby oprzeć się nowej artylerii. Zewnętrzne linie obrony zostały zbudowane wokół starego zamku. Mury kurtynowe, bastiony i wały obronne zachowały się w dobrym stanie do dnia dzisiejszego.
Karol I był więziony na zamku w 1647 roku. Próba ucieczki nie powiodła się, gdy utknął w kratach.
Później zamek był okazjonalną rezydencją gubernatora Isle of Wight i stał się domem dla księżniczki Beatrycze, najmłodszej córki królowej Wiktorii, kiedy była gubernatorem.
