得知张良臣复叛，冯胜、傅友德、汤和等人急速领兵前来会合。徐达分遣诸将截断张良臣与其外围党羽的联系，自己率军将庆阳四面包围起来。张良臣恃勇出城挑战，都被徐达挥军击败。围困三个月后，庆阳城内粮草缺乏，军心动摇。张良臣的部将开门出降，徐达领兵自北门入城。张良臣父子投井欲自杀，被明军捞起处死。攻取庆阳，使明军掌握了控制陕甘地区形势的主动权。

明军平定陕西，朱元璋诏命徐达班师，赏赐给他大量的白银和绢帛。正当朱元璋要对北伐将领论功封赏时，西北地区战事又有急变。扩廓帖木儿闻知明军班师，便率兵围攻兰州，形势一度危急。

洪武三年（年）正月，为了肃清西北地区的元兵残余力量，解除边患，徐达再次受命为征北大将军，李文忠代替已经病故的常遇春为副将军。出征前朱元璋召集诸将分析双方形势：扩廓帖木儿所以屡屡侵犯边疆，是因为其君主还在。如果派兵直取元君主，扩廓帖木儿失势，可不战而胜之。但眼前扩廓帖木儿正在围攻兰州，舍其而远征大漠，是舍近趋远，有失缓急之所宜。于是，朱元璋派定兵分两路，徐达出潼关直捣定西，打击扩廓帖木儿。李文忠出居庸关，深入塞北打击元顺帝。这样，可以使他们彼此自顾不及，无暇相互救援。元顺帝远在塞外，不会想到我军来袭击，可以打他个措手不及，如此部署，可一举两得。

四月，徐达西路军经潼关直指定西。扩廓帖木儿白兰州撤围，两军相持于沈儿峪，隔着一道深沟扎营对垒，一天接战几次。扩廓帖木儿派出千余名骑兵，抄小路袭击明军的东南营寨。明将胡德济仓卒失措，士卒溃散。徐达急忙率军援救。击退元军，稳住阵脚。徐达下令处斩了几名严重失职的将校，并将胡德济押往京城，交由朱元璋处置。

第二天，两军会合决战。明军冲过河沟杀人敌营，大破元军，俘虏了元朝的宗室亲王、国公、平章等官员一千八百余人，士卒八万人，战马一万五千匹。这场双方投入数十万兵力的空前大战，使扩廓帖木儿的主力军损失殆尽，带着妻子等几个人狼狈逃命，抓着水上的漂浮木渡过黄河，逃向和林（今蒙古国哈尔和林）。明将郭英追赶扩廓帖木儿直至宁夏。徐达取得定西大胜后，还师返回西安。

东路大军由李文忠指挥，进至应昌（今内蒙达里诺尔西南），其时元顺帝已死，即位的皇太子爱猷识里达腊，逃往和林，明军穷追不舍，俘获了元帝的孙子、后妃、诸王将相等数百余人，经明军东、西两路打击，元朝残余的力量，已无法再组织大规模的进犯了。

十一月，徐达、李文忠凯旋回到京城，朱元璋亲自到龙江迎接。随后大封功臣，徐达改封为魏国公。朱元璋体恤徐达等功臣连年征战、冲锋搏杀、风餐露宿、身体疲劳，特下诏优待可以三日或五日上朝一次。

洪武四年春天，朱元璋派徐达镇守北平。徐达到任后训练士卒，修缮城池，迁移军民充实边防力量，并督促垦田生产。

洪武五年，朱元璋想解除北方边患，又发大军出征。徐达仍为征虏大将军，出雁门关攻击和林为中路；李文忠为左副将军出应昌为东路；冯胜为征西将军进兵甘肃为西路。三路各五万大军，分道并进。