赭山的土和岩石都呈赤色。

赭山，山不大，却有不少古迹。光绪《慈溪县志》卷九舆地四“泉、井、潭、池”中载有：玉蟾泉、旋螺泉、祗树井、枇杷潭、泻红池，山上还有赭山禅寺、龙王堂等。明清时期有许多当地名人为其留下了大量的诗词：有曹汉炎（元）、桂彦良（明）、钱文荐（明）、郑溱（明）、郑梁（清）、郑性（清）、杨泰亨（清）、杨家骥（清）等等。

千年古刹--赭山禅寺，五代后周显德六年（959）置名赭山寺。宋治平二年（1065）改赐赭山清果院，元季废。明洪武元年（1368)，僧文春重建，仍名赭山寺。

现寺于1991年起，由民间捐资重建。

寺内尚存临济正宗第四十三世心恺化禅师纪念塔

近代著名高僧太虚大师所撰“赭山心恺化禅师衣钵塔铭”石碑（民国二十三年十二月三日）。