Das Areal zwischen dem heutigen Parlament und der Universität war einst ein sandiger, öder Exerzier- und Paradeplatz gewesen. Erst 1870 rangen die Liberalen unter Bürgermeister Felder dem Kaiser die Zustimmung zur Räumung der Fläche ab. Der Bauplatz wurde von den Wienern "Kommunalloch" genannt.

Dem Erbauer des "Neuen Rathauses", dem schwäbischen Dombaumeister Friedrich von Schmidt, ist es mit dem Bau sehr ernst gewesen. Schmidt ließ die steilen Mansardendächer, die beim ersten Mal nicht zu seiner Zufriedenheit ausgefallen waren, auf eigene Kosten abtragen und erneuern, da der Gemeinderat die Mittel dazu nicht bewilligte. Schmidt sagte dazu: "Ich will ein armer Mann mein Lebtag bleiben, wenn mir nur mein Rathaus gelingt. Im Mittelalter mußten die Baumeister im Kampf mit den Ratsherren die Köpfe lassen! Heutzutage nimmt man mit dem Geldbeutel vorlieb."

Am 21. Oktober 1882 fand die Gleichenfeier statt. Mit Seilwinden und Dampfmaschinen hievte man als krönenden Abschluß den 3,4 m hohen Rathausmann, ein Bannerträger aus Kupfer, 1,8 t schwer, auf seinen luftigen Standort. Er ist ein Geschenk des Wiener Schlossermeisters Ludwig Wilhelm und wurde vom 27jährigen Kunstschlosser Alexander Nehr aus eingeschmolzenen russischen Münzen gefertigt. Der "Eiserne Mann" trägt eine aufrechte Fahne mit einem Morgenstern als Abschluß und fungiert gleichzeitig als Blitzableiter. Im Rathauspark steht eine Kopie, die man genauer betrachten kann.

Von 1872 bis 1883 baute Schmidt am Rathaus. Zur 200-Jahr-Feier des Sieges über die Türken wurde es am 12. September 1883 eröffnet.

Wie so viele Gebäude in Wien wurde es im Zweiten Weltkrieg schwer beschädigt.

100 Jahre trotzte der Rathausman in 97,9 m Höhe Wind und Wetter. Dann mußte er heruntergeholt und renoviert werden.
Am 22. September 1985 fanden sich tausende Menschen am Rathausplatz ein, um zu sehen, wie der Rathausmann wieder auf der Turmspitze montiert wurde. Diesmal wurde er jedoch mit dem Hubschrauber zu seinem angestammten Platz geflogen.
Seit 1986 wird vom Wiener Bürgermeister prominenten Besuchern der Stadt der "Goldene Rathausmann", die kleine Kopie des Eisenmannes, überreicht.