，张辽朝圣于洛阳皇宫，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状。张辽述说过后，曹丕向左右叹息道：“简直是古代的召虎啊。”于是为其建造第舍，又特为张辽母亲筑殿，当年跟从张辽突破吴军阵营、临时应募的一众步卒，皆为虎贲。
黄初三年，孙权又复称藩。张辽奉命还屯雍丘，却在此得病。曹丕遣侍中刘晔带著太医审视其疾，并令虎贲问其消息，道路上往来相继不绝。张辽之疾久未痊愈，曹丕命人迎接张辽就行在所，自己则车驾亲临，执张辽之手，赐以御衣，又使太官每日送给御食。
待张辽之疾稍可，辽即回还屯之处。正当其时，孙权复叛，曹丕遣张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，甚为忌惮，敕令诸将道：“张辽虽然抱病，但仍是勇不可当的，千万要谨慎在意！”
同年，张辽与诸将同破吴将吕范。不久张辽病笃，竟逝于江都。曹丕为之流涕，谥曰刚侯。其子张虎嗣任其爵。
黄初六年，曹丕追念张辽、李典在合肥之功，诏曰：“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封辽、典邑各百户，赐一子爵关内侯。”
张辽是三