慈光阁古称朱砂庵,原为法海寺,明嘉靖间(1522—1566),玄阳道士居此,题额“步云亭”。明万历三十四年(1606年)普门僧来此,改法海禅院。神宗敕封“护国慈光寺”,皇太后赐以佛经、佛像、袈裟、锡杖、钵盂等物,盛极一时。曾是徽、宣两州禅林之首。清新安画派创始人渐江和尚(弘仁)和国画大师石涛均曾居此。后寺毁。原址尚存部分楼房,建国后建为宾馆。其上有含沙岭,岭上有妙之亭。金沙岭后是立马亭,立马亭上可见立马峰摩崖大字:“立马空东海,登高望太平”十字。
现在的慈光阁已经辟为黄山博物馆,匾额为董必武所书。