成斥逐秦王府官属，于是老爹跟杜如晦一并被驱斥于外任，他跟母亲又苦哈哈的陪着父亲上任。一直等到房玄龄帮秦王策划了玄武门之变，皇帝上任之后，房家才骤然发达起来。房玄龄任职中书令，封邢国公，食邑一千三百户，贵不可言。
房遗直从小到大随着母亲四处迁徙，担惊受怕，吃尽苦头，好不容易等着父亲富贵，可他已经长大成人了。父子亲情未见有多厚，倒是父亲对他的要求越来越严厉，动不动便训斥他不能以宰相之子的身份自傲，不可骄奢淫逸，恃强凌弱。为此还专门集古今家诫，亲书为屏风放在他房里。旁人都道房相教子有方，只有他每天看着那字，觉得饭都难吃了不少。
作为一个已经站在青春尾巴上的少年，他对于长安城的花花世界还是很有些幻想的，但是因为有父亲在，所以他什么都不能想，什么都不能做。安分守己的上朝下朝，结果自己的差事做得好了，别人只会说一句“不愧是房相的儿子！”，若是做的差了，便是一堆惊讶失望的目光跟那句“房相的儿子怎么做不好这些！”
房遗直对此就算心怀不满，也只能面带微笑的忍受同僚们的各种眼神，没办法，谁叫他的父亲是房玄龄。
若是家中所有的孩子都是这样倒也罢了，但问题是只有他一个是