庞家山位于隆回县六都寨镇、司门前镇、大水田乡的交界之处，蜿蜒的道路直通山顶，林壑尤美。禅院背倚青峰面枕溪，难怪嘉庆《邵阳县志》称之为“最胜禅林”。

嘉庆《邵阳县志》

宋末元初，庞振（1263——1343）自吴西宦游南楚邵邑，生四子，因战乱弃官隐居隆回五都深山，在此拓荒辟壤，置业兴家。庞振繁衍于斯，长眠于斯，故此地得名庞家山。

明朝嘉靖年间，新化罗洪人罗慈德娶西山马蹄印胡氏为妻，生子善继、善述。罗氏父子心地善良，对贫苦乡民广为布施，后父子三人到庞家山伐薪烧炭，济贫救困，不改初衷。一天在烧炭时，檀香树产生的香气冲到南天门。天官对罗氏父子的善行懿德早已记录在册，于是趁天门打开之际，将父子三人点化成仙。为纪念罗氏父子，隆庆元年（1567），以五都廖彦仲为首，在庞家山修建禅院，以罗慈德的大名为记，命名为“慈德寺”，凡有祈祷，灵验非常。“山不在高，有仙则名”，后来方圆数十里的信徒烧香拜佛，络绎不绝，特别是干旱求雨，屡试不爽，声名远播宝庆城，以致有人把庞家山称呼成“风雨名山”。

兴废总关情，据大水田《廖氏族谱》记载，廖世彬主修了东面的庞家山庵堂和西面的白马山庵堂，禅院中一方年代漫漶的功德碑上，出现了“廖世彬”的大名。庞家山禅院扩建、修缮，大多留有功德碑，现在能看到有确切纪年的清代石碑有这些：乾隆四年的、乾隆五十二年、五十九年的、嘉庆庚申年的。庞家山禅院的美名载入史册，道光《宝庆府志》卷六十三“疆里记”：“庞家山寺，一名最胜寺，后有洞，岁旱祈雨立应。唐时有罗氏父子三人修真于此飞去。”府志中的“唐时”实际上是“明时”。

道光《宝庆府志》

解放以来，由于大环境的变化，庞家山禅院未能逃脱劫难。改革开放之后，各方善男信女捐钱捐物，复修扩建，禅院得以重光，2011年列入隆回县文物保护单位名录。

庞家山禅院旁边的瞭望台，是观景的最佳场所，天气晴朗的日子，登高四望，望云山、白马山、大东山、九龙山、云山、丫髻山、魏源湖、木瓜山水库的风光尽收眼底，这里是摄影爱好者、户外驴友的打卡之地，2018年8月10日，湖南卫视播出了庞家山的云海日出，这座名山惊艳了世界。