传说五台最早是道家的地盘,《道经》里称五台山为紫府山,曾建有紫府庙。《清凉山志》称佛教的文殊菩萨初来震旦(古代印度人称中国为震旦)时,居于石盆洞中,而石盆在道家的玄真观内,这说明当时五台山为道家所踞。
佛教最初传入我国时,只有少数人奉行。公元前二年,大月支国(原居我国新疆西部伊犁河流域的少数民族,西迁中亚后建立的国家)国王的使者伊存来到当时中国的首都长安(即今西安),他口授佛经给一个名叫景卢的博士弟子,这是中国史书上关于佛教传入中国的最早的记录。
佛教传入五台山,普遍的说法是始于东汉。史籍记载,永平十年(公元67年)十二月,汉明帝派往去西域求法的使者同两位印度高僧迦叶摩腾和竺法兰来到洛阳。