李小二又被派出去领兵打战，直到武德四年七月才返回长安，也就是说，承乾这可怜孩子两岁多才见到自己的父亲。
接下来的几年，他父亲要么出去打仗，要么留在长安跟兄弟争权，反正过的都不是太平日子。父子俩相处的时间自然比以前多了，但恐怕李小二没有太多心思和精力去享受当爹的乐趣。
现代的学说认为，小孩子特别是男孩，幼年时期跟父亲的关系是非常重要的，因为那是他获得安全感、认知自己性别特征、初步架构起心理平衡的时候，而且这种认知和关系只能通过直观感受来获得——也就是说，无论他母亲和奶娘丫鬟什么的跟他说过多少次“你父王是大英雄、真男人、国家栋梁、万众崇敬”之类的话，也远远比不上父亲张开双臂给他一个简单拥抱来得有效。
如果在一般臣民家，这种父爱缺位的现象还有可能得到补偿，毕竟史上父亲早死但儿子被单亲母亲抚养大仍旧成才的例子屡见不鲜。但李承乾很不幸，当他父亲缺位时，没有一位男性有能力，或者说，有胆量，以父性的方式对待秦王世子。
李承乾长到八岁，玄武门兵变发，他母亲是被父亲伉俪情深地带到了玄武门去避难，而承乾，史书上可没记载八岁的秦王世子跟母亲一起去劳军了