就在张铉率军远征高句丽的同时，唐军也加紧了在西线的战役，薛举、李轨、梁师都、刘武周就像四把锋利的匕首顶在唐朝的后背，使李渊如鲠在喉，如芒刺背，也正是这个缘故，唐军在攻打壶关失利后，便立刻撤军回太原，不再纠结于对空虚河北的攻打，而是调头对付刘武周南侵。
唐军二十万兵力几乎都在对付这四支割据势力，其中刘武周由李元吉应对，李轨由李建成应对，薛举和梁师都则由李世民率十万大军分别剿灭。
唐朝倾举国之力应对这四支势力，半年内确实取得了很大的进展，李建成密派武威豪强安兴贵佯投李轨，说服其兄安修仁投降了唐朝，安氏兄弟暗中勾结河西胡人反叛李轨，趁李轨率军西征羌人之时，说服李轨部众造反，李轨走投无路，兵败被抓，被李渊斩首于长安。
而陇西薛举虽然声势浩大，但他为人残暴，强征暴敛，河湟男子尽皆驱赶从军，在陇西一带民愤极大。
尽管薛举在浅水原一战击败唐军，但他却被李世民派去的刺客所杀，唐军随即大举反击，薛举军队大败，他儿子薛仁杲率残兵败退至西平郡，部属皆众叛亲离，薛仁杲被部将宗罗睺所杀，人头献给了李世民。
河西河湟两路皆平，唐军士气大振，李世民率八万大军分兵三路北征梁师都，李世民部将段德操在会宁郡凉川县大败梁师都堂弟梁洛仁，斩敌五千人，另一支军队由骠骑将军蔺兴粲统帅，在平凉郡击败悍将辛獠儿，辛獠儿只率数百骑狼狈北窜。
而第三路由兵部尚书屈突通率领，在弘化郡迎战梁师都率领的三万骑兵，双方激战三天三夜，李世民率援军杀至，梁师都大败北归，他一方面向突厥紧急求援，另一方面召集残部拒守灵武郡。
李世民的八万大军随即杀至灵武郡，而此时，突厥始毕可汗由于在突厥内部争位中失利而忧愤成疾，不久病逝，由其弟继位，称处罗可汗，突厥内部纷乱，无暇南顾。
但张铉已灭契丹，占据了辽东，处罗可汗不想唐军在西面坐大，便派其弟莫贺咄设率军三万赶往灵武郡援助梁师都。
与此同时，一份从长安送来的八百里加急快报抵达了灵武郡。
李世民的大军驻扎在鸣沙县，这里位于灵武郡最南面，绿洲少，戈壁多，时值八月，灵武郡一带干燥酷热，大地如同着火一般，席卷方圆数千里，唐军水土不服，中暑者极多，战斗力迅速下降。
但酷热中暑并不仅仅是唐军遭遇的困难，梁师都利用骑兵和熟悉地形的优势，派出十几支小规模骑兵队，南下骚扰唐军的军粮运输，这些骑兵队十分熟悉地形，神出鬼没，一连摧毁三支唐军粮草运输队，使唐军的后勤补给出现了困难。
大帐内，李世民忧心忡忡地来回负手踱步，这时，屈突通、段德操、长孙无忌和张公瑾快步走进大帐，李世民回头看了众人一眼，摆摆手道：“大家请坐吧！”
长孙无忌见李世民面有忧色，便问道：“殿下可是为粮食不足而烦恼？”
李世民苦笑一声，“烦恼之事太多了，何止粮食一件。”
这时，屈突通缓缓道：“当初张铉平琅琊郡乱匪孙宣雅时，也是因为粮食运输困难而失败，后来他们采用了在山中修筑军堡屯粮的方式，步步为营向南推进，最终解决了粮食问题，一鼓作气击败了孙宣雅和王薄，卑职认为这种步步为营的办法值得我们效仿，灵武郡最大的困难就是孤悬于北方，中间有大片戈壁荒漠和陇右相隔，如果不解决粮食运输问题，我们拿不下灵武郡。”
李世民点点头，他很赞赏屈突通的这种实事求是的态度，不因为张铉是敌人就排斥，优点大家都可以互相学习，这时他见段德操欲言又止，便问道：“段将军想说什么？”
段德操欠身道：“粮草运输确实是大问题，卑职考虑，我们能否利用黄河运输来解决这个难题，卑职观察过，从金城郡到灵武郡这一段黄河水流平缓，非常有利于水运，而梁师都和突厥军都以骑兵为主，水战是他们的薄弱环节.......”
不等段德操说完，众人都一致夸赞，这是一个好办法，他们之前怎么没有想到呢？