Die Kasernengebäude wurden 1937-1938 von der nationalsozialistischen Diktatur zur Kriegsvorbereitung gebaut. Mit der Wiedereinführung der Wehrpflicht 1935 und der Besetzung der seit dem Frieden von Versailles entmilitarisierten Zone im März 1936 benötigte die Wehrmacht neue Kasernen.

Am 2. April 1938 bezog das II. Bataillon des Infanterieregiments 109 von der 35. Infanteriedivision mit einem Festakt die damals noch unbenannte Kaserne am Schützenhaus. Die Division war später für schwere Kriegsverbrechen in der Sowjetunion verantwortlich. Die Namensgebung als Freiherr von Forstner-Kaserne erfolgte erst am 7. Mai 1939.

Nach der Befreiung Deutschlands von der NS-Diktatur wurden viele freigewordene Kasernen von den Alliierten auch für andere Zwecke genutzt. In dem zum großen Teil zerstörten Deutschland herrschte Mangel an Gebäuden.

Die Gebäude dieser Kaserne wurden unter Aufsicht einer UN-Organisation zu einer Sammelstelle für sogenannte „Displaced Persons“, d.h. für Menschen wie ZwangsarbeiterInnen und Kriegsgefangene, die während des 2. Weltkrieges nach Deutschland verschleppt worden waren. Bis 1950 waren hier zeitweise über 1500 Menschen, vor allem aus Polen aber auch aus der Sowjetunion, untergebracht.

Ab Ende der 1940er Jahre wurden die Gebäude von der US-Armee wieder als Kaserne genutzt und Smiley Barracks benannt. Diese Kaserne bildete zusammen mit der ab 1950 südlich davon entstehenden amerikanischen Wohnsiedlung (Paul-Revere-Village) und dem Karlsruher Army Air Field (Alter Flugplatz) eine der größten US-Einrichtungen in Karlsruhe. Hier waren u.a. das Karlsruhe Headquarter Personal, eine Military Police- und eine medizinische Einheit sowie eine Apotheke untergebracht.

Die Verminderung der NATO-Streitkräfte in Deutschland durch die weltpolitischen Änderungen seit 1989/90 war 1995 mit dem Komplettabzug der US-Streitkräfte aus Karlsruhe verbunden. Das eröffnete die Chance, ab 1997 in den frei gewordenen Kasernengebäuden das selbstverwaltete genossenschaftliche Wohnprojekt der MiKa zu realisieren. In zwei weitere Gebäude zogen das Hardtwaldzentrum des Deutschen Paritätischen Wohlfahrtsverbandes (DPWV) und die Bundesnetzagentur. Die amerikanische Bibliothek verblieb im jetzigen Kultur- und Gemeinschaftshaus der MiKa und wurde zu einem Teil der Stadtbibliothek Karlsruhe.

Das Hardtwaldzentrum feiert 25-jähriges Bestehen, federführend durch die jetzige Paritätische Sozialdienste gGmbH Karlsruhe.