Nach einem tragischen Brand 1757 wurde das Hörmannhaus neu errichtet. Nachdem es erst 1897 von Josef Hörmann erworben wurde, schenkte es dessen Nachfolgebesitzer, Thaddäus Endres, 1905 dem Kapuzinerkloster. Die Kapuzinermönche nutzten das Haus als Klosterbäckerei, wo sie beispielsweise Brot gebacken und anschließend an die Bedürftigen in Not verteilt haben. Auch das Heimatmuseum war hier zeitweise untergebracht. Jetzt findet es sich im Museum Hofmühle wieder.
1992 wurde es von der Stadt saniert und umgebaut. Heute kann man in dem denkmalgeschützten Haus getöpferte Schalen, Figuren und Gefäße erwerben. Bei den Immenstädtern wird es bis heute „Hörmannhaus“ genannt.