然有一件事儿缠绕李隆基数年，且始终没有改观，令他一直苦恼不已。此事绝非小事，即是宰相人选始终不能遂意。
张说罢相之后，中书令一直空置，源乾曜为侍中，李元纮以平章事的名义行使宰相职权。李隆基对此二人皆不完全认可，除了觉得他们无能充任中书令之外，还认为他们没有军事之能，于是又授安西副大都护杜暹为平章事，如此就有三名宰相同时在朝。按照李隆基的考虑，三人中自以源乾曜为主，其下有一文一武两名宰相，由此可以彼此取长补短，使政务顺利前行。
然李元纮与杜暹二人共事后，不过数日就针尖对麦芒，其口角相争也就罢了，数次还要老拳相搏。
李元纮以公正之名名扬天下，与卢怀慎一样不治家产，散俸禄于亲族，素有清廉的名声；而杜暹之所以能入朝为相，李隆基除了认为他有军事之能外，也认可杜暹的清廉名声。