始建于清乾隆四十年（公元1775年）。當時忻縣稱秀容縣，故以此得名，為忻州市第一所學府。原書院東邊是文昌寺，后書院逐漸擴建，文昌寺并于書院中。在書院西坡上先后修建三個風景亭：正中四角亭，南八角亭，北六角亭。六角亭為三亭中之最，每邊長約三米，亭高約九米。六角亭舊稱寥無閣，為全城最高點，立于亭上，可俯瞰全城。原六角亭前有一磚拱門，稱天之衢，意取書院讀書人，通過天之衢，登上寥天閣，飛黃騰達。