Der Festungsgürtel um die Stadt Mainz behinderte nach 1860 die Expansion der Stadt, sowie die Ansiedlung von Industriebetrieben stark. Seit 1868 bemühten sich deshalb die Mainzer Kommunalpolitiker darum, diesen Gürtel zu erweitern, also weiter außen um die Stadt zu legen, damit die Stadt sich flächenmäßig weiter ausbreiten konnte.
Erst nach dem Deutsch-Französischen Krieg 1870/71, als das nun zu Deutschland gehörende Metz in Lothringen Grenzfestung wurde (→ Festung Metz), hatten diese Bemühungen Erfolg. 1872 konnte ein Vertrag zwischen der Stadt Mainz und dem Festungsgouvernement geschlossen werden, in dem die Gartenfeldfront im Nordwesten aufgelassen werden sollte. Im Gegenzug sollte dann um die Neustadt eine neue Festung gebaut werden, was die Stadt damals mit 4 Millionen Gulden teuer bezahlen musste.
Dieser neue Teil der Festung ist der Rheingauwall, er wurde zwischen 1872 und 1879 in der neupreußischen Befestigungsmanier erbaut. Das bedeutet, die Wallanlage ist rechteckig und ohne Bastionen. Der Wall erstreckte sich über den nördlichen Teil des heutigen Mainzer Stadtteils Hartenberg-Münchfeld bis an die Grenze zur damals eigenständigen Gemeinde Mombach und zur Mainzer Neustadt. Die einzelnen Bestandteile des Walls sind unter anderem:
Die Kavaliere Prinz Holstein, Judensand
Das Fort Hartenberg
Das Fort Hartmühl
Das Gonsenheimer Tor
Das Mombacher TorDer Rheingauwall schloss über das nun als Kavalier dienende Fort Hauptstein an der Bastion Alexander an die alte Stadtbefestigung an. Der Endpunkt war das neu errichtete Rheinfort, welches die alte Hochwasserschanze ersetzte. Auch das Rheinufer, welches neu aufgeschüttet wurde, ist befestigt worden.
In späteren Jahren wurde der Wall auch auf der Ingelheimer Aue und dem gegenüberliegenden Rheinufer mit einigen Forts und Verschanzungen fortgesetzt. An der Stelle der alten Gartenfeldfront wurde die Kaiserstraße angelegt. In der Neustadt wurden viele Kasernen – wie die Alicekaserne und die Neue Golden-Ross-Kaserne (Dragonerkaserne) – und Infrastruktureinrichtungen wie Magazinräume der Militärverwaltung und die Armee-Konservenfabrik gebaut.
Trotz dieser Erweiterung der Stadt litt Mainz immer noch unter Platzmangel. Am 18. März 1904 befahl Kaiser Wilhelm II. die Auflösung des erst 25 Jahre zuvor fertiggestellten Rheingauwalls. Gleichzeitig wurden damit auch alle Baubeschränkungen aufgehoben und der Weg zum Bau von weitläufigen Industrieanlagen war frei. Es wurde die ganze barocke Südwestfront, bestehend aus den Forts Karl, Elisabeth, Philipp, Joseph und Hauptstein, aufgelassen. Auf Teilen des Geländes vor dem Fort Josef entstand 1911–14 das städtische Krankenhaus (heute Uniklinik).