Von 1853-1859 diente die 2,2km vorgelagerte Insel vor San Fransisco als militärisches Fort. Im Jahre 1861 wurden dann erstmals Kriegsgefangene dort untergebracht und das Fort als Gefängnis umfunktioniert. Nach dem schweren Erdbeben von 1906 wurde das Fort wieder aufgebaut und modernisiert.

Ab dem 01.01.1934 diente das Gefängnis als Bundesgefängnis das berühmte Insassen wie „Al Capone“ beherbergte. Ein entkommen war nur schwer. Glücklich konnten sich die nennen, die es geschafft haben von dort zu entkommen.

Im Jahre 1963 wurde der Gefängnisbetrieb eingestellt und 1972 wurde die Insel unter die Aufsicht des US National Park Service gestellt. Heute kann die Gefängnisinsel von San Fransisco aus besucht und besichtigt werden.