Castle Williams ist ein nahezu kreisrundes Bauwerk aus rotem Sandstein auf der Westseite von Governors Island im New Yorker Hafen. Es diente zunächst als Befestigungsanlage, dann als Militärgefängnis, Kaserne und Mehrzweckgebäude der Küstenwache. Heute dient es nur noch touristischen Zwecken.
Es war ein reines Artilleriewerk mit drei Feueretagen und war nicht zur infanteristischen Verteidigung eingerichtet.
Entworfen und gebaut wurde es zwischen 1807 und 1811 durch den Lieutenant Colonel (dt.:Oberstleutnant) Jonathan Williams, Kommandeur des Corps of Engineers und Erster Direktor der Militärakademie in West Point. Das Fort war Teil des Verteidigungssystems des inneren Hafens, zu dem noch die Forts Columbus (später umbenannt in Fort Jay), die South Battery auf Governors Island, Castle Clinton an der Spitze von Manhattan, Fort Wood auf Liberty Island, und Fort Gibson auf Ellis Island gehörten.
Die Namensgebung erfolgte zu Ehren des Erbauers am 24. November 1810 mit Zustimmung des Kriegsministers (Secretary of War) auf Befehl von Colonel (dt.: Oberst) Henry Burbeck, Festungskommandant von New York („In future the Stone Tower on this Island will bear the name of CASTLE WILLIAMS, in honor of the commandant of the United States Corps of Engineers, who designed and erected it.“).
Während des Amerikanischen Bürgerkrieges war das Fort in keine Kampfhandlungen verwickelt und wurde als Gefangenenlager für Mannschaften und Unteroffiziere des Confederate States Army, als Gefängnis für Deserteure der Unionsarmee und auch als Kaserne verwendet. Nach 1865 wurde in dem Bauwerk ein Militärgefängnis für leichtere Fälle eingerichtet. Gleichzeitig diente es nach wie vor als Kaserne. Danach begann die Anlage mehr und mehr zu verfallen, bis man es 1895 zu einem der zehn Militärgefängnisse der United States Army bestimmte und umfangreiche Modernisierungsmaßnahmen einleitete. Dazu zählte unter anderem der Einbau einer Zentralheizung und sanitärer Anlagen. Letzteres war mit dem Anschluss an eine Wasserleitung verbunden.
In den frühen Jahren des 20. Jahrhunderts bemühte sich der Außenminister und frühere Kriegsminister Elihu Root persönlich um den Erhalt des Forts, insbesondere da durch die Landgewinnung die Insel Governors Island ihre Größe zwischen 1901 und 1912 verdoppelt hatte und bereits Begehrlichkeiten durch Grundstücksspekulanten bemerkbar wurden. Das Bauwerk wurde 1903 zu einem Modellgefängnis umgebaut und erhielt im Jahre 1904, als Governors Island an das Stromnetz angeschlossen wurde, auch eine Stromversorgung.
In den Jahren 1912–1913 war eine Erneuerung der Kehlmauer notwendig geworden. Daraufhin wurden im Inneren des Fort zwei Magazinbauten abgebrochen und das Material zum Bau eines zweistöckigen Wachhauses in der Kehle verwendet.
Castle Williams wurde 1915 zum Außenposten (Atlantic Branch) der United States Disciplinary Barracks in Fort Leavenworth. 1916 wurden die sanitären Anlagen erweitert und 1930 renovierte man die komplette Heinzungs-, Sanitär- und Stromanlage. Die Sicherheitsstandards wurden erhöht, im zweiten und dritten Stock wurden in verschiedene Kasematten Hochsicherheitszellen eingebaut.
Umfangreiche Renovierungsarbeiten 1947–1948 gaben dem Gebäude sein heutiges Aussehen. Hölzerne Umläufe wurden durch stahlverstärkete Betongalerien und die eisernen Stiegen durch gemauerte Treppen ersetzt. In den Kasematten wurden Trennwände aus Beton und Steinmauern hochgezogen. Die hölzernen Zellentüren wurden gegen solche aus Stahl ausgetauscht.
Nach der Aufgabe der militärischen Liegenschaft auf Governors Island durch die U.S. Army im Jahre 1966 wurde auch Castle Williams deaktiviert und der United States Coast Guard übergeben. Diese nutzte das Fort als Club- und Gemeinschaftshaus mit Kindertagesstätte, Räumen für Pfadfinder, Bastelräume, einem Foto-Studio und einem Museum. Am 31. Juli 1972 wurde das Fort als Baudenkmal in das National Register of Historic Places aufgenommen. Nachdem das Fort dann noch einige Jahre als Lager genutzt worden war, gab man es 1997 auf. 2003 wurden die Liegenschaft und das benachbarte Fort Jay von der Küstenwache an den National Park Service übergeben, von dem es als Teil des Governors Island National Monument verwaltet wird.