Christian Moritz von Königsegg-Rothenfels ließ 1774 über den Resten der Brandstätte an dieser Stelle eine gräfliche Reitschule errichten, die direkt an die Immenstädter Stadtmauer anschloss.
2006 wurde das Bauwerk durch die Stadt grundlegend saniert und zum Literaturhaus umgebaut. Heute befindet sich in dem denkmalgeschützten Gebäude die Stadtbibliothek.
Hinter dem heutigen Literaturhaus kann man erhaltene Überreste der Stadtmauer bestaunen.