Das erste Rottweiler Kapuzinerkloster befand sich in der Nähe der Hofgerichtsstätte an der Königstraße. Im Jahr 1623 wurde der Bauplatz, auf dem das künftige Kloster errichtet werden soll, durch ein großes Kreuz der Kapuziner markiert. Der Grundstein für das Kloster wurde am 2. Juli 1627 gelegt, durch den Abt Melchior Haug vom Benediktinerkloster St. Georgen in Villingen.

Im Jahr 1632 sollte der Bau bezogen werden, nur die zugehörige Klosterkirche musste noch geweiht werden. Dazu kam es nicht mehr, am Heiligen Abend 1632 griffen württembergische Truppen an und besetzten Rottweil am 5. Januar 1633. Nach der Besetzung wurde das neuerbaute Kloster von württembergischen Truppen zerstört. An der Stelle der alten Klosterkirche wurde später zur Erinnerung die Armsünderkapelle an der Königstraße errichtet.

Am 26. Mai 1636 errichtete Stadtpfarrer Khuon das Kapuzinerkreuz bei der Neutorstraße, hier sollte das zweite Rottweiler Kapuzinerkloster erbaut werden. Der Krieg verhinderte einen Neubau bis zum Jahr1653, als durch den Abt Georg Gaisser aus dem Benediktinerkloster St. Georgen in Villingen der Grundstein des neuen Klosters gelegt wurde. Die Kirche des neuen Klosters wurde am 29. September 1655 geweiht.

Die Besetzung Rottweils durch württembergisches Militär im September 1802 leitet das Ende des Kapuzinerklosters ein, schon im Oktober 1802 fand ein evangelischer Gottesdienst in der Klosterkirche der Kapuziner statt. Endgültig und offiziell aufgehoben wurde das Kloster am 29. Dezember 1805 auf kurfürstlichen Befehl. Kirche und Kloster standen danach jahrelang leer.

1813 wurde das Kloster vom württembergischen Staat versteigert, den Zuschlag bekam der Rottweiler Zimmermeister Franz Josef Hopt, zu einem Preis von 3310 Gulden. Hopt nutzte das Anwesen als Wohnung und zu gewerblichen Zwecken. Im Jahr 1821 beginnt Hopt mit einem Anbau an der Nordwestseite des Klosters.

Am 20. August 1833 bekommt Mathias Hopt (ein Sohn des Franz Josef Hopt) die Erlaubnis für eine Bierbrauerei im alten Klostergebäude. 1841 erwirbt Johann Koch das Wirtshaus "Zur Sonne", 1862 kauft es der Bierbrauer Max Teufel, der es schon 1866 an den Bierbrauer Burkart verkauft. 1877 richtet Burkart eine Schlosserwerkstatt im Anwesen ein. Burkart stirbt 1888 im Alter von 47 Jahren. Der folgende Besitzer der Sonne ist der Göllsdorfer Viktor Wenger.

Zur Jahrhundertwende beginnt Wenger mit dem Umbau der ehemaligen Kapuzinerkirche zum "Sonnensaal". Bereits im Januar 1901 finden erste Veranstaltungen im Sonnensaal statt. Nach dem Tod Wengers im Herbst 1901 erwirbt 1902 Carl Banholzer das Anwesen. Carl Banholzer ist der Sohn eines Rottweiler Hutmachers, er eröffnet die Sonne zu Pfingsten 1902 wieder. Carl Banholzer gründet die Weinhandlung zur Sonne.

1933 wurde der Obere Sonnensaal renoviert und der Rottweiler Kunstmaler Berhard Wäschle schuf ein Wandgemälde im Zeitgeschmack. 1940 wird in der Sonne ein Luftschutzbunker eingerichtet, ab 1943 dient der Große Sonnensaal als Quartier für Zwangsarbeiter der IG Farben. 1945 lagerten marokkanische Soldaten der französischen Besatzungsmacht im Saalbau, sie unterhielten dabei ein offenes Feuer.

1950 eröffnete Carl Banholzer jun. die renovierte Sonne wieder. 1960 wird der Gebäudekomplex an die Ravensburger Möbelfirma Lenz verpachtet. Im Jahre 1969 kauft die Stadt Rottweil den Gebäudekomplex von der Erbengemeinschaft Banholzer.