Huis De Weijer werd al in de vijftiende eeuw bewoond door de pastoor. In 1850 ging frater-onderwijzer Jan de Smit het huis bewonen. Hij richtte het in tot een jongenskostschool, St. Chrysostomus geheten. Deze kostschool bleef tien jaar bestaan, tot het overlijden van Jan de Smit. Aan het einde van de negentiende eeuw kocht het kerkbestuur De Weijer en stelde het gebouw ter beschikking aan de Zusters van JMJ (Jezus Maria Jozef). De zusters bouwden het gebouwencomplex in de loop der jaren verder uit. Het werd een combinatie van diverse meisjesscholen: een bewaarschool, een ulo, een lagere school en een landbouwhuishoudschool. De Weijer werd in 1974 verkocht aan de gemeente Boxmeer. Na een grondige verbouwing werd het bestemd tot sociaal-cultureel-educatief centrum.
