兵征讨并州的羌胡开始，文翰与吕布第一次相见，那时吕布就已对文翰多有不满，或许是当时文翰抢了他不少的风头，也或是文翰出身寒门的关系。吕布自此开始，便一直将文翰视为眼中钉肉中刺，除之而后快。
后来文翰击退胡贼，赢得‘冠军’名号，吕布的不满便是越来越盛。在暗地里，开始连番针对文翰。先是借丁原的地位、声威，逼文翰交出马鞍马镫的图纸，后来又与文翰争夺击退胡贼的功劳。文翰自知那时势力微薄，所以对吕布一直都是退让、忍耐。
之后，董卓入京，文翰和丁原联合最先与董卓对抗。那时吕布唯恐，文翰得之丁原宠信，挑拨离间，教唆丁原谋死文翰。若非张辽出手相救，先前通风报信，文翰必死无疑。
再到后来的长安大变，董卓被吕布弑杀，关羽为了带走貂蝉，单骑面对吕布大军，遭到重重围杀，身受重伤，后来更是被吕布缠上，那时文翰为救关羽，几乎被吕布一箭射死。再者之后，吕布为了貂蝉，出兵偷袭文翰的根基之地河东，捣得河东一片大乱。