Het Abtenhuis was onderdeel van een Benedictijnenabdij die op het einde van de 11de eeuw te Geraardsbergen werd gevestigd. Toen ze de relieken van St-Adrianus, een pestheilige, ontvingen, groeide de abdij uit tot een bedevaartsoord en kreeg de naam St-Adriaansabdij. Deze verering gaf Geraardsbergen zoveel aantrekkingskracht en uitstraling dat de stad op een bepaald ogenblik Adrianopolis werd genoemd. De Abdij met het Abtenhuis kende een grote politieke, economische en culturele bloei.