Immenstadt hatte vier Tore:
- Das Kemptener Tor, auch Metzgertor genannt, nach Norden
- Das Sonthofener Tor, auch Pfaffentor genannt, nach Osten
- Der Hofgang, nach Süden
- Das Lindauer Tor, auch Staufener Tor oder Schollentor genannt, nach Westen
Das Lindauer Tor wurde, im Zuge der Stadtbefestigung, im Jahre 1360 errichtet. Hier waren einst die Immenstädter Kerker untergebracht, daher auch der Name „Gefängnisturm“. Im Jahre 1685 wurde eine gräfliche Kanzlei am Tor errichtet. Dieses Gebäude diente als Zollhaus mit Archiv- und Diensträumen. In diesem denkmalgeschützten Baukörper war einst der Zugang zum Lindauer Tor.
Aufgrund von teuren Unterhaltskosten wurde die Pforte 1806 abgebrochen. Auf der Erinnerungstafel wurde eine falsche Jahreszahl des Abbruchs angegeben, eine Korrektur fand aber nie statt.