五台山五爷相传是东海龙王之子,排行老五,名叫圣衍。传说有一次,五爷到五台山游玩,巧遇西天如来佛祖帐下的文殊菩萨到五峰山来开辟道场,后经文殊菩萨点化,同到东海龙宫借得歇龙石,将原来陡峭险峻,刀削斧劈般的五峰山,变成了岿巍敦厚的五个大台顶。
自此,五台山一改过去那种恶劣气候,冬天寒风刺骨,冰封大地夏日烈日炎炎,酷暑难当,变成了常年气候各宜,清爽宜人,夏无酷热,冬无严寒,满山遍绿,花果四季的东方佛国胜景,世界佛教圣地。此后世人便把五峰山改称为五台山了。
五爷庙的后面是文殊殿,五台山作为文殊菩萨的道场,几乎每座庙宇里都有专门供奉文殊菩萨的文殊殿,但在这里文殊殿却没有五爷庙的香火旺盛。这也看得出当地人更喜欢本土化俗神的崇拜,可是文殊菩萨在当地人目心中的正统地位,也不会有丝毫的减弱。在五爷庙中坐东向西两檐三顶的建筑是万佛阁,也叫万佛殿。它分上下两层,在五台山众多的建筑中别具风格。
传说五台山最早是道家的地盘。《道经》里称五台山为紫府山,曾建有紫府庙。《清凉山志》称文殊菩萨初来震旦(古代印度人称中国为震旦)时,居于石盘洞中。而石盘洞是在道家的玄真观内,这说明五台山为道家所踞。
五爷庙创建于清代,民国年间重修时,增建了前庭。一般佛教寺院是龙王的,而五台山么要修龙王殿呢?这要从文殊菩萨向东海龙王巧借歇龙石的神话说起。很古以前,五台山地区并不是清凉胜境,而是酷热难熬,当地百姓深受其苦,专门为人排忧解难的大智文殊菩萨便从东海龙王那里巧妙地借来一块清凉石,从此五台山变得凉爽宜人风调雨顺,成为避暑胜地。