Skansinn er fjölsóttur og vinsæll meðal Vestmannaeyinga allan ársins hring og ekki að ástæðulausu, því þar útsýni einstakt og sagan alltumlykjandi. Upprunalega var Skansinn byggður í þeim tilgangi að verja dönsku konungsverslunina ágangi enskra útgerðar- og kaupmanna. Það var árið 1586.

Þegar 17. öld gekk í garð hafði sjósókn Englendinga minnkað en Vestmannaeyingar þurftu þrátt fyrir það enn á vörnum að halda. Eftir Tyrkjaránið 1627, þegar sjóræningjar námu 242 Vestmannaeyinga á brott, var dönskum herþjálfa falið að hafa umsjón með landvörnum þaðan.

Árið 1639 tók Jón Ólafsson Indíafari við stöðu byssuskyttu við Skansinn. Eftirmaður hans og síðasta byssuskytta Skansins var svo Gunnar Ólafsson. Herfylking Vestmannaeyja var stofnsett um miðja 19. öld af sýslumanninum Andreas August von Kohl og fóru heræfingar fram á Skansinum.

Vígbúnaður var aftur lagður niður 1870–1880 en Skansinn var lengi aðalflagg- og merkjastöð sjómanna og þaðan fylgst með ferðum skipa. Í síðari heimsstyrjöldinni var Skansinn bækistöð breska herliðsins í Eyjum.

Ásýnd Skansins breyttist mikið eftir eldgosið árið 1973 en þá bættust rúmir tveir ferkílómetrar af hrauni við eyjuna. Hringskersgarðurinn sem áður var úti í miðjum sjó er nú inni í innsiglingunni. Með hraunkælingu var komist hjá því að að hraunið færi yfir garðinn, hraunið staðnæmdist við hann og myndaði það svæði sem í dag kallast Skansinn. Þar er nú Stafkirkjan, heilbrigiðisminjasafnið Landlyst og fallbyssuvirki.