王恢自思自己的军队敌不过匈奴大军只好退还，韩安国等率领大军分驻马邑境内埋伏，但好几天不见动静，遂改变原先的作战方案，率军出击，结果一无所获。

而“马邑之围”失败的后果影响深远，汉武帝以王恢提出战争却临阵脱逃，将王恢下狱，廷尉判处王恢畏敌观望死刑。

王恢虽买通田蚡通过汉武帝的母亲王太后求情，但仍无法平息汉武帝的愤怒，王恢被迫自杀谢罪。

“马邑之围”之后，匈奴拒绝与西汉朝和亲，在边境拦路劫掠，或者出兵四处袭击汉朝边郡，以报复马邑之围，数量多的数不过来。

“马邑之围”虽未成功，但却使汉朝结束了自西汉初年以来奉行的屈辱的“和亲”政策，同时也拉开了汉匈大规模战争的序幕。

公元188年三月，并州刺史张懿在抵御胡人的进攻时战败被杀，继任为并州刺史的丁原因为张辽武力过人，召其为从事，命他带兵赶赴京城，去接受大将军何进的领导。

大将军何进又派遣张辽前往河北募兵，张辽在河北共募得千余人，然后，返还京城向何进复命，但此时的何进已被宦官所杀。

愤怒的将士们攻杀宦官，幸存的宦官劫持汉少帝，最终董卓立下了救驾的大功，回京后便掌握朝中大权。

由于何进已死，张辽作为大将军何进的直属部下之一，便统兵从属于董卓，后来董卓败亡，张辽统兵从属于吕布，迁任骑都尉。

张辽虽然“以兵属吕布”，但他以北地太守或鲁相名义，在吕布军中仍保持相对的独立地位。

不久，李傕、郭汜、樊稠等人攻打长安，击败吕布，北地太守张辽跟从吕布向东奔逃，漂泊辗转于关中、荆州、豫州、司州、并州、冀州、兖州，在兖州鏖战曹操之后，又前往徐州。

真正让张辽扬名的主要是两件大事，一是随曹操大破乌桓，二是逍遥津“八百破十万”。

公元207年，曹操要征讨在柳城的袁尚、袁熙与乌桓，张辽随大军出征，八月曹操带领先锋部队登上白狼山，突然与敌兵遭遇。

敌人的数量很多，当时，曹操军队的主力重兵还在后方，尚未到达前线，而曹操身边只有少量的军队。

曹军将士们希望等待后续部队，并对当前的危险局面都感到恐惧，在“左右皆惧”的曹军氛围中，张辽力排众议，反对畏敌不前，极力劝说曹操应当趁着胡虏的阵势不整，立刻进行交战，而不是等待后援。

张辽劝战时的语言、神态皆是壮气奋发，曹操十分欣赏张辽的雄壮斗志，又看见乌桓的军队尚未排好战斗阵形，于是采纳了张辽的建议。

曹操亲自将自己所持的麾，授予给张辽暂用，下令由张辽指挥先锋部队出战。

张辽率军突击，大破乌桓军队，并临阵斩杀了以“骁武”著称的乌桓单于蹋顿。

此役虽然敌众我寡、左右皆惧，并且，“蹋顿又骁武，边长老皆比之冒顿”，但是，张辽极力主张迅速进攻，终于，其疾如风，虏众大崩，胡、汉降者二十余万。

公元213年，张辽与臧霸同为征濡须口的前锋，后攻破孙权江西营，擒获孙权都督公孙阳。

公元214年五月，孙权亲征皖城，张辽从合肥向皖城驰援，在增援途中得知皖城失守。

于是，张辽在硖石的南面迅速筑起了一座堡垒，作为合肥的前哨，同年七月曹操征伐孙权，同年十月曹操无功而返，自合肥还。

曹操在离开合肥时，带走了大批部队欲作西征之用，给屯驻合肥的张辽与乐进、李典等将领只留下了七千余人。

张辽得知曹操有西征之意，认为合肥即将孤立无援，孙权必会趁机来攻，于是开凿了藏舟浦，用来隐藏舟船。

公元215年，曹操率领重兵西征张鲁，让护军薛悌送去一封信函，信函