开宝九年(976)，太祖突然死去，其弟赵光义继位，是为宋太宗。太宗继位后，继续实施太祖未竞的统一战略。他使用政治压力，迫使吴越王钱谬和割据福建漳、泉二州的陈洪进纳土归降。这样，两浙、福建也纳入了宋朝的版图。至此，中国南方的各割据政权全部被消火。“先南后北”的战略已完成过半，灭亡北汉事宜就提到议事日程上来了。
北汉建立者刘崇，为后汉高祖刘知远之弟。后周建立时自立为帝，仍称汉，史称北汉，宋时也称东汉。北宋建立时，北汉帝刘钧在位，对辽穆宗自称男，是继后晋高祖石敬瑭之后的又一个儿皇帝。北汉虽不强大，但依靠辽与宋抗衡，是宋朝统一战争中的劲敌。
鉴于太祖曾三次率军进攻北汉皆因辽军南援而败，太宗遂制定围城打援，先退辽军后取太原的方略。继而组建飞山军，加紧练兵。并命晋（今山西临汾）、潞（今山西长治）、邢（今河北邢台）、沼（令河北永年东南）、镇（令河北正定）、冀（今河北冀县）等州，制造兵器及攻城战具，储备粮草，做攻战准备。
太平兴国四年(979)正月，太宗率大军亲征北汉。命潘美为北路都招讨制置使，统领河阳节度使崔彦进、彰德节度使李汉琼、桂州观察使曹翰、彰信节度使刘遇等，分别从四面进围太原。命云州观察使郭进为石岭关都部署，扼守石岭关（今山西陌曲东北关城）；命盂玄哲为镇州驻泊兵马都钤辖，守镇州，分别待击从北、东两面救援北汉之辽军，命河北转运使侯陟、陕西北路转运使雷德骧分掌太原东、西路转运事。同时遣将分兵攻隆（今山西祁县东南）、盂（今山西盂县）、汾（今山西汾阳），沁（今山西沁源）、岚（今山西岚县北之岚城）等州，割裂北汉军，以孤立太原。
十五日，太宗从东京（今河南开封）出发，主力经镇州、承天寨（今山两娘子关）分兵西进，直趋太原。北汉主刘继元闻讯，急遣使赴辽求援。辽景宗耶律贤即命南府宰相耶律沙为都统，冀王耶律敌烈为监军，偕南院大王耶律斜轸率兵驰援。又命左千牛卫大将军韩悖、大同军节度使耶律善补以本路兵南下增援。
三月十六日，辽东路援军日夜兼程至石岭关，被大涧所阻隔，时宋郭进部已布阵待战。耶律敌烈不等后军来到，即领前锋军渡涧，未及过半，郭进率骑兵突然出击，斩杀耶律敌烈等五将，歼万余人。及耶律斜轸率后军至，弓弩齐放，耶律沙大败，领余众仓皇退走。不久，辽北路援军亦被宋军击退。
宋军打援获胜，又乘势攻取外围。到四月，相继攻克盂县、隆州、岚州等地，又破北汉鹰扬军及岢岚军，使太原陷于孤立。北汉主惊惧，复遣使赴辽，被宋军俘杀；潜师出击，亦被宋军击败，于是固守孤城，不敢出战。
二十二日，宋太宗至太原，集兵四面围城。二十四日凌晨，亲临城西督战，数十万将士以弓弩轮番向城内发射矢石。五月初一，攻破城西南护围羊马城，北汉宣徽使范超、马步军都指挥使郭万超等先后出降。刘继元在外无援军，内无兵力抵抗的困境中，于初六投降，北汉灭亡。
