战国时期魏公子无忌之故宅。寺院初名建国寺，后毁于战火。唐长安初年（701年），高僧慧云云游至汴州，夜宿繁台，看到城内汴河有紫气冲天，天明徒步河岸，又见此地澜漪中有天宫影，参差楼阁九重仪象，如弥勒佛之兜率宫院，慧云随发愿建寺。后所督造的弥勒佛像，大放金光，照彻天地，震动人心。巧合的是，睿宗皇帝是夜也于梦中感通宝像奇瑞，且灵应肇发，大有感悟。
为纪念自己由相王龙飞称帝，应其祥瑞，睿宗帝御笔赐名，对大相国寺以特别眷顾，使其极尽造化，风光莫比；另一方面，汴州自古便为大梁故都，天下要冲，至唐代虽为河南道统辖下一地方单位，但自从隋代开通济渠以来，更为“水陆都会”而名扬天下，商贸和文化活动均十分频繁和发达，堪为地灵人杰。朱温这些年来在汴州并未大兴土木，而是以夯实统治基础为己任，劝课农桑、发展贸易，休养生息，因而大相国寺的香客、游人越发多了起来，香火鼎盛。
这个大相国寺就是后世开封的大相国寺，李曜是来过的，不过地点和名字虽然一样，但两次来看，这寺庙给他的感觉却全不一样。
大相国寺出名于唐代，而兴盛于宋代。相国寺的前身为建业寺，根据历史记载，公元712年，睿宗李旦感梦于建业