Ursprünglich war die Heilig-Kreuz-Bruderschaft eine rein kirchliche Gruppierung, die sich der Verehrung des Kreuzpartikels im Münster zum Ziel gesetzt hat. Stiftungen legten dann die finanzielle Basis dafür, dass die Bruderschaft auf dem karitativen Sektor tätig werden konnte. Zunächst bot die Bruderschaft ambulante Hilfe für notleidende Rottweiler an.

Im Laufe des 14. Jahrhunderts hatte die Stadt immer mehr das Sagen in der Bruderschaft und die Hilfen wurden stark auf Ortsansässige eingeschränkt. Im Jahr 1655 wurde die Hilfe für Juden eingeschränkt, nur noch außerhalb der Stadtmauern konnten Juden Almosen der Bruderschaft in Empfang nehmen.

Um die stark vermehrten Besitztümer der Bruderschaft im 16. Jahrhundert besser verwalten zu können wurde das Bruderschaftsgebäude in der Bruderschaftsgasse errichtet. Beim großen Stadtbrand von 1696 wurde das Innere des Bruderschaftsgebäudes fast völlig zerstört. 1982 wurde der Komplex tiefgreifend saniert.

Im Jahr 1725 wurde ein Nebengebäude gegenüber dem eigentlichen Bruderschaftsgebäude erbaut. Das Portal der Südfassade diente früher als Einfahrt für Kutschen. Blickfang des Nebengebäudes ist die Ritterfigur aus der Mitte des 16. Jahrhunderts, vielleicht stammt die Figur von einem Brunnen. Das Original der Ritterfigur steht im Rottweiler Stadtmuseum.

Nach einer Legende wird der Ritter am Karfreitag beim Zwölfuhr-Läuten lebendig und begibt sich zu einem Trunk und Gespräch mit den Eidgenossen des Marktbrunnens.