Das ehrsame Handwerk der Steinmetzen und Maurer im kaiserlichen Steinbruch am Leithaberg ist seit 1615 schriftlich dokumentiert. Für das Handwerk in Kaisersteinbruch war die Haupthütte in Wiener Neustadt zuständig. Die großen Haupthütten Mitteleuropas waren Köln, Straßburg, Zürich und Wien.
Der „Kaiserstein“ wurde bereits für die römische Villa von Königshof-Ödes Kloster verwendet. Der älteste erhaltene steinerne Brunnen Wiens, der „Schweizerhofbrunnen“ der Wiener Hofburg, 1552 von Pietro Solari errichtet, besteht aus Kaiserstein.
Das ganze Mittelalter hindurch waren die Steinmetzen und Maurer zwei voneinander getrennte Handwerke. Eine gemeinsame Vorgangsweise der Wiener Maurer und Steinmetzen fand erst im 17. Jahrhundert statt, als sie versuchten, sich gegen die italienischen, vor allem aus der Gegend von Como stammenden Meister zu wehren, die von der Haupthütte als Störer und Pfuscher empfunden wurden.
In der ungarischen Sprache kommen die Gemeinsamkeiten beider Berufe, ihre frühere Verbundenheit zum Ausdruck:
kömüves = Maurer, wortwörtlich übersetzt: Steinwerker.
köfarago = Steinmetz, übersetzt: Steinschnitzer.