曹操想及杨彪种种，对刘备哪还有什么兴趣？话锋一转道：
“吾所虑者，杨彪也！此人对朝中之事了若执掌，又与袁术有姻亲关系，倘若成为袁家的内应，必为大患！”
袁术的女儿正是杨彪的正室，故而曹操如是说。
曹操虽如是说，但像荀氏叔侄、郭嘉等人自是都清楚曹操的话中内涵，袁家四世三公，门生故吏遍布朝廷，又岂是一个杨彪？听得懂的自是明白其意，听不懂的却全道是曹操对杨彪有意见，这倒也可以解释的清，毕竟杨彪在献帝受难之时立下数功，深得献帝信任，而杨彪又不属于曹操阵营，曹操欲除之也并非说不过去。
程昱自是明白曹操之意，笑道：
“丞相无须担心，某有一计……”
次日，朝中大臣连名上奏，诬陷杨彪与袁术私信有不臣之心，于是将杨彪收监入狱。
当日，北海太守孔融正在许都，孔融是孔子的第二十世孙，杨彪是孔子的首席弟子，两人自是深感亲近，关系也一直很好，孔融非神非仙，自是不清楚这其间的种种，且此人素来刚正不阿，眼里容不得半点砂子，听闻杨彪被收监入狱，便去见曹操痛声道:
“杨公四世清德，丞相岂怎能因袁氏而定其罪？”
曹操其实一直