房玄龄的声东击西之策获得了成功，大量士兵被调去搬运泥袋，城墙的一千守军无法顾及方方面面，苏定方率领三千军队便从守军最少的东北角突破，当敌军还来不及去禀报主将之时，苏定方便率先攻上了城头，继而有更多隋军士兵跟随他杀上城头，东段城墙的防御开始迅速溃败。
尽管王君廓率军拼死抵抗，但唐军主力已经南撤，娄烦关大势已去，不到一刻钟，城门被攻进城内的隋军开启，憋足了劲了裴行俨率领骑兵杀进了关城之内，唐军伤亡大半，王君廓最终只率领数百人杀开一条血路，冲出娄烦关向南撤离，对峙了十天的娄烦关终于落入了隋军手中。
娄烦关的失守并不仅仅是一座关隘得失，它意味着太原以北再也无险可守，隋军长驱南下，随即占领娄烦郡，四天后，三万隋军进驻太原郡北部的交城县，距离太原城约百里，而上党郡的两万隋军也向北移一百八十里，进驻太原郡东部的寿阳县，依凭井陉补给后勤线，和西部的交城县互为犄角，一东一西和太原城内的唐军对峙。
这就是张铉想要的战略格局，他并不急于拿下并州，而是希望利用并州最大程度上牵制住唐朝的国力和资源，使他能够腾出手来逐步蚕食唐朝的南方利益。
八月底，也就是隋军夺取娄烦关十天后，张铉亲率一万大军走滏口陉抵达了上党县，这天上午，上党县城北城城头搭建了一座高达一丈的大木台，周围人山人海，早在五天前隋军便传出了消息，八月最后一天，隋军将在上党县公开处斩刘武周。
这个消息让整个并州都沸腾了，短短几天内，来自上党郡、长平郡、太原郡的三十余万民众几乎要挤爆了上党县城，原本计划在县衙前开斩，也不得不将行刑地转移到城楼上，以便使城外的数十万民众能够亲眼目睹这一幕。
刘武周率领十几万大军三次洗掠并州各地，给并州各郡县民众带来了深重的灾难，此时这个罪大恶极之人就被反绑着双臂，跪在木台之上，他的头发被拴在一根木柱上，后颈内插着一根木条，几天来箭伤的痛苦和巨大的恐惧极度折磨着他的肉体和灵魂，使刘武周已经处于一种半昏迷状态，脸色惨白，头颅无力垂下。
这时，张铉出现在城头，四周响起一片震耳欲聋的欢呼声，“齐王万岁！万岁！”此起彼伏的欢呼声如海潮奔腾，响彻原野。
张铉摆摆手，待呼喊声稍稍平息，他高声大喊道：“所有的父老乡亲们，今天我张铉要为你们死难的亲人报仇，用刘武周的人头来祭奠你们的亲人，让他们在九泉之下得以安息！”
张铉的话令无数人跪倒在地嚎啕大哭，他们想到了自己被残害的父母妻儿，人们再也控制不住自己的情感，愤怒呼喊声一浪高过一浪，“杀了他！将他千刀万剐！”
这时，张铉喝令道：“准备开斩！”
轰隆隆的追魂鼓敲响，人群激动的到了高潮，数十万人开始涌动上前，一万士兵拼命地维持秩序。
这时，一名手执大斧的行刑手走上木台，等待着张铉最后的命令，随着午时三刻终于到来，张铉一声喝令，“斩！”
行刑手拔掉了刘武周后颈内的木条，高高举起了锋利的斧头，这时刘武周的眼睛慢慢睁开了，他看见了张铉冷酷的目光，他又绝望地闭上了眼睛，随着一声厉吼，行刑手的利斧狠狠劈下，‘咔嚓！’一声，血光四溅，将刘武周的脖子劈为两段，木杆弹起，将刘武周人头高高悬挂在半空，四周数十万人群再次响起了山呼海啸般的欢呼声。
.........
张铉在上党县只呆了一天，当天下午他便率领军队继续北上，先去了寿阳县，慰问了两万驻军，随时又向北，绕过太原城，一天后抵达了交城县。
房玄龄和裴行俨、苏定方出营十里专程迎接主帅的到来。
在回营路上，众人一路谈笑风声，一起享受胜利的喜悦，裴行俨听说有三十几万人赶去上党县目睹刘武周斩首，不由一乍舌道：“幸亏当时没有一槊刺死他，否则会误了大事，并州人岂不会把我骂死？”
张铉笑道：“怎么会骂死你，大家都会感激你替他们省了路费！”
众人一起大笑起来。