“太上”即为无上，蕴有道家的意思，表明比皇帝还要尊贵。
汉高祖刘邦即位后，专门搞了套皇帝的礼仪，目的是要确定皇帝至高无上的地位。每天清晨，群臣都要向刘邦行三跪九叩大礼。有一天上朝的时候，刘邦忽然发现自己年迈的父亲刘太公也跟着大臣向自己行礼。他慌忙走下宝座，扶起白发苍苍的父亲，并立即颁旨封父亲为太上皇，免去每天的朝拜。当然，这个太上皇只是一个礼仪上的名称，除了名号，什么都没有。
上面提到的两个太上皇，和后来的由皇帝转变成太上皇退居幕后的情况完全不同。自古以来，皇帝宝座都是引无数英雄竞折腰，坐上去诚然不易，而下来也非常之难。皇帝是最高统治者，实行世袭及终身制，一旦黄袍加身，就要做一世的皇帝。除非是被推翻，一般一定要等皇帝驾崩之后，才允许由新皇帝接位，此即为“天无二日，国无两君”。
但也有少数例外，皇帝在身体健康、可以继续处理政事的情况下宣布退位，并成为所谓的太上皇。唐朝非常具有代表性，唐高祖李渊既是唐朝开国之君，后来还做了太上皇，在中国历史上前无古人，后无来者。
隋朝末年，天下大乱，烽烟四起，群雄逐鹿。太原留守李渊起兵反隋，打出的却是“志在尊隋”的旗