改张姓。
张辽少年时便已举郡吏，后来并州刺史丁原以张辽武力过人，召其为从事，命辽带兵往赴京都。何进又遣张辽往河北募兵，共得千余人。张辽募兵尚未还，而京中何进已因剿宦失败而死，因此张辽所领兵尽归董卓所有。
董卓死时，张辽统兵归属于吕布，迁任骑都尉。其后吕布为李傕所击败，张辽跟从吕布各地流浪。吕布后在兖州与陈宫联手，差点灭了曹操，不过因为吕布用人失当，用了一个叫薛兰的人，导致兖州被曹操重新占据。
曹操将吕布打败，张辽随吕布到徐州。遥领豫州的鲁国相，时年二十八。
建安三年吕布遣身为北地太守张辽与中郎将高顺等攻破刘备，后又败曹操的援军夏侯惇。但其后曹操破吕布于下邳，张辽领吕布军余众归降，被拜为中郎将，赐爵关内侯。
建安五年曹操破刘备擒关羽后厚待他，但察知其无久留之心，便让张辽查问，关羽回答他虽知曹操善待自己，但受刘备大恩誓同生死，替曹操立大功后必去。
张辽欲如实告知曹操，却担忧关羽为曹操所杀，但如不实告又非事君之道，乃叹说：“曹操是君父；关羽不过是兄弟。”
遂如实告知，曹操赞其忠义后问张辽估计关羽何时离去，张辽回答：“关羽受