这里原是明代户部尚书耿天台(字定向)在南京做督学御史时(约1544年)修建。耿曾在此讲学,死后书院被毁,耿的弟弟把书院改为祠堂。后来清代一位叫展西的和尚又把祠堂改成了寺庙。
书院依山势分为三进,一殿与二殿由两边回廊相连接,廊壁墙上开各式花窗,东侧廊壁嵌有两块石碑。二殿与三殿间是开阔青石平台,其东侧有一组山水小景。三殿是公园的制高点,放眼周围一片苍翠,抬头远望,方圆百里尽收眼底,进入大厅,四幅大型壁画跃然醒目,再现金陵春牛首、夏钟山、秋栖霞、冬石城之四季景色。正书院现为“中华奇石馆”,其内陈列神州各地珍奇石头。