Vanaf 1268 was hier de belangrijkste stedelijke instelling van liefdadigheid gevestigd, de Tafel van de Heilige Geest, in de volksmond ook wel het Geefhuis, Armhuis, Aalmoezeniershuis of het Spint genoemd. In de Franse tijd werd de naam veranderd in Oude Mannen- en Vrouwenhuis, ook werden vondelingen opgevangen. Vanaf 1853 werkten hier de Zusters van Barmhartigheid van Ronse. De naam veranderde in Sint Annagesticht. Tot 1970 bleef het als bejaardenhuis in gebruik. De zusters verlieten het huis in 1982. Momenteel is hier de stadsbibliotheek gevestigd.
