相传，在晋代燕国广阳（今房山区长阳镇，晋时属范阳），有个叫霍原的隐士（?-313年），字休明。他学识和品行都很高尚，曾云游各地讲学。十八岁入京师太学行礼，成绩优良，同学中多贵族子弟，对他很尊重。后来，他的叔父被人诬陷，定为死罪，霍原以身相代，备受酷刑，后终得雪冤，无罪释放。
        晋惠帝元康末年（265-317)，霍原与王褒等人以贤良被朝廷征诏，霍原辞而不就，隐居广阳山（当时又叫绿屏山）。建立讲堂宿舍，广召贤良传授学问，弟子最多时达数千人之多。燕王按月赠羊酒，时人称其为"冀北夫子"。广阳山就是今天的上方山。
        公元341年，统治燕国的幽州都督王浚，发现当时社会内战不休，妄想称制僭位，曾派人先后六次聘请霍原出山相助，想借用霍原的聪明才智，帮助他。但霍原却坚决不从，王浚脑羞成怒，一气之下杀死了霍原，并将霍原的头悬挂起来示众。他的学生和当地百姓十分悲伤，连夜将霍原的尸体收殓埋葬在山的西南（晋史和房山县志都有记载）。
        当时有一首童谣，歌词是"天子在何许？近在豆田中"。王浚以豆做霍，收杀了霍原。后人为了纪念他，就将"绿屏山"改名"六聘山"了。"六聘霍原出仕"的佳话在当地也广为流传颂。从此，上方山又得名“六聘山”。后来，燕郡太守卢道将，为他立起祠堂，不少人还为他撰写悼念诗文。元代刘因曾作诗一首，以贤追念:

西山霍原宅，古迹犹可稽，

重吟豆田谣，愁云落崩崖，

知己在明哲，何世继尘羁，

君观括囊戒，无盈底无亏。

      早在东汉（公元56--75）时期，就有僧人在这里开山修寺。后历代均有扩建，辽金为鼎盛时期，金末毁于战火，元代曾恢复，现存寺院为明代万历年间所复建。历史上被誉为"千年佛家圣地，燕郊诸山之冠"。
       那么，又是从何时起"六聘山"被称作"上方山"了呢。据《上方山志》记载："山名上方，寺名兜率者，取上方六欲第四天之宫名也。"明《帝京景物略》卷8也提到：上方山，"晚得名，一二百年，续续有过从者"。所以，上方山的叫法应该始于明代。