Der VfB Holzhausen wurde 1946 als einziger Holzhauser Sportverein nach dem Krieg wieder ins Leben gerufen. Der VfB „Cimbria“ war in den ersten Jahren unter dem heimisch gewordenen Artur Küter sehr erfolgreich.
Ab dem Jahr 1954 verzichtete man auf das „Cimbria“ und in der neuen Satzung fand sich nur noch der VfB Holzhausen wieder. In den folgenden Jahren verlief die Geschichte des VfB wenig spektakulär und erst mit dem Bau der Bürgerhalle kam der Verein so richtig in Fahrt.
Es begann der Aufstieg der Männer bis in die Verbandsliga (1977) und später bis in die Oberliga (1987). Dort hielt man sich leider nur drei Jahre, stieg 1990 wieder ab und verpasste in den Folgejahren mit zwei Vizemeisterschaften nur knapp den erneuten Sprung in das Westfälische Oberhaus.
Die Frauen schaffen 1982 den Aufstieg in die Regionalliga, damals die zweithöchste Spielklasse im Damenhandball. In den 90er Jahren schaffte man nach zwischenzeitlichen Abstiegen noch zwei Mal den Sprung in die Oberliga.
In dieser Zeit wurde auch eine sehr erfolgreiche Jugendarbeit betrieben, von der der Verein bis zur Jahrtausendwende schöpfen konnte. Im männlichen Jugendbereich konnte man ab dem Jahr 1990 keine A-Jugend mehr präsentieren aber im weiblichen Jugendbereich war man bis zuletzt sehr erfolgreich.
In den Jahren 1997 bis 2006 spielte man in einer Spielgemeinschaft auch im Erwachsenenbereich mit dem TuS Hartum.
Maßgeblich geprägt hat den Verein der langjährige erste Vorsitzende August Wiese, in dessen Amtszeit auch die größten Erfolge fielen.
