In november 1941 vorderden de Duitsers Villa Roucouleur. Ze vestigden er het kantoor van de Beauftragte van Brabant, de hoogste Duitse burgerbestuurder. Vlak voor de bevrijding van Vught had generaal Kurt Student hier zijn hoofdkwartier. Na de Tweede Wereldoorlog werden op Villa Roucouleur verschillende militaire eenheden ondergebracht: geallieerde troepen, Nederlandse Stoottroepen op weg naar Nederlands-Indië en later ook Belgische eenheden.
