Nach dem Ende der Reichsstadtzeit im Jahr 1802 bekam das Gebäude eine neue Funktion, die städtischen Feldschützen benutzten es als Unterkunft. Die Feldschützen hatten die Aufgabe im Außenbereich für Ordnung zu sorgen. Die Feldschützen führten auch die Aufsicht über die großen Viehmärkte, die bis in die 50 Jahre des 20. Jahrhunderts auf der Breite stattfanden. Das Gebiet auf der Breite war im 19. Jahrhundert ein unbebautes Gebiet an der heutigen Heerstraße.

Auf der Breite standen einst viele Obstbäume. Die Feldschützen sollten auch den Diebstahl von Obst verhindern. Noch heute erinnern sich Rottweiler an ihre Lausbubenzeit: die Feldschützen versteckten sich im Zollhäusle und lagen auf der Lauer. Wenn Buben auf die Bäume kletterten um Obst zu stibitzen, rannten die Feldschützen heraus, um die Buben zu schnappen. Allerdings zogen die Feldschützen meist den Kürzeren.

Im Jahr 1954 drohte dem Zollhäusle der Abbruch, Bemühungen des Albvereins und des Geschichts- und Altertumsvereins konnten dies verhindern. Nach einer ersten Sanierung wurden Gruppenräume für Jugendliche im Zollhäusle untergebracht. Eine zweite Sanierung des kleinen Gebäudes erfolgte im Jahr 1990, das Fachwerk wurde wiederhergestellt. Die Sanierung verschlang damals immerhin 120 000 DM.