妻子吕氏虽与高力士无夫妻之实，但还是一个称职的女主人。她征得高力士同意收了数个养子养女，宅内器物甚精，她还享有朝廷五品的俸禄，实为令人尊崇的贵妇人。吕氏见高力士有些疲累，就亲手服侍他卧于榻上，边替高力士解衣边说道：“今日李相派人送来了一些礼物，妾推辞不要，来人却说李相得知岭南来人，由此致以心意，妾只好收下了。”
高力士疑窦顿生：“他如何知道岭南来人了？所送礼物为何？”
“有潞绸、马蹄金等物，其价不菲。”
高力士“嗯”了一声，毕竟有些累了，很快闭眼沉沉睡去。李隆基不上早朝，由此也解脱了高力士，这一觉直睡到天色大亮。他醒来后又想起李林甫送礼的事儿，心中暗自叹道：实乃聪明之人啊！其既讨皇帝欢喜，又待朝中上上下下重臣一团和气，明白事体孰轻孰重，这宰相之位一坐就是六年，皇帝至今还没有换相的意思。
高力士与李林甫交往算不上亲密，高力士谨守本位，绝不与外臣交往过密。李林甫成为宰相的过程中，高力士间接地起过一点作用。裴光庭任宰相之时，李林甫暗中与裴光庭的妻子武氏勾搭成奸。武氏为武三思的女儿，而高力士的养父高延福出自武三思之家，武氏由此与高力士有了渊源。后