1569 (Jahreszahl über dem Eingangstor) errichtete Jonas von Wilfersdorf das Freihaus als Ersatz für einen sich in seinem Besitz befindlichen Stadtturm in der dahinterliegenden Klostergasse, der im Zuge der neuzeitlichen Stadtbefestigung abgetragen wurde. 1651 erwarb die Stadt das Gebäude, das bis 1848 als Rathaus diente. Danach war darin das Bezirksgericht untergebracht. 1683 verursachte die Explosion des Pulverturmes, 1699 ein Unwetter am Haus schwere Schäden.
Derzeit befinden sich im Haus die Franz-Schubert-Musikschule sowie eine Galerie mit regelmäßig stattfindenden Austellungen verschiedener Künstler.
Rechts neben dem Eingangstor befindet sich eine Gedenktafel, die an einen Besuch von Franz Schubert im Jahr 1827 in Fürstenfeld errinnert.