當初，曹*打敗馬超後，追趕馬超到安定，听到田銀、蘇伯起兵的消息，率軍返回。參涼州軍事楊阜對曹*說︰「馬超有韓信、英布那樣勇猛，很得羌人和胡人的信服，如果大軍撤回，又不加以防備，隴山以西的各郡恐怕就不能再屬于朝廷了。」曹*撤軍後，馬超果然率領羌人，胡人進攻隴山以西的各郡縣，各郡縣都起來響應，只有作為涼州州府及漢陽郡府所在地的冀城堅守不降。
馬超兼並了隴山以西的所有部隊，張魯又派大將楊昂率軍援助馬超，共有有一萬余人，進攻冀城，從正月直攻到八月，朝廷救兵也沒有到。涼州刺史韋康派別駕閻溫出城，向夏侯淵求救。馬超軍在冀城外包圍了好幾層，閻溫乘夜從水里秘密游出城去。第二天，馬超部下士兵看到足跡，派人追蹤，把閻溫捉住。馬超把閻溫帶到城下，命令閻溫告訴城中守軍說︰「東方沒有救兵。」閻溫向城中大喊︰「大軍不過三天就會來到，你們努力堅守！」城中守軍都流下眼淚，高呼萬歲。馬超雖然惱怒，但由于冀城很久攻不下，仍慢慢地進一步引誘閻溫，希望他回心轉意。閻溫說︰「奉事君主，只有一死，沒有二心。而你竟想讓長者說出那種違背道義的話嗎！」馬超于是殺死閻溫。
過了些時候，外面的救兵仍沒有來，刺史韋康及太守打算投降，楊阜大哭著勸阻他們說︰「我們率領自己的父兄子弟，以大義互相勉勵，誓死沒有二心，就是為了協助你們守住此城。現在，怎麼能放棄這唾于可得的功勛，陷入不義的罪名呢？」刺史、太守中听楊阜的勸阻，打開城門迎接馬超。馬超入城後，就殺死刺史、太守，自稱征西將軍，兼任並州牧、督涼州軍事。
曹*命令夏侯淵率軍援救冀城，還沒到，冀城已經投降。夏侯淵率冀城還有二百余里時，馬超出軍迎戰，夏侯淵作戰失利。這時，號稱氐王的氐人首領千萬又起兵響應馬超，駐軍興國，夏侯淵率軍撤回。
正在這時，楊阜的妻子去世，楊阜向馬超請假去安葬妻子。楊阜的表兄、天水人姜敘擔任撫夷將軍，率軍駐在歷城。楊阜見到姜敘和姜敘的母親，抽泣不止，十分悲痛。姜敘說︰「你為什麼這樣悲痛？」楊阜說︰「守城而沒能守住，長官被殺而不能同死，我還有什麼臉活在世上！馬超背叛父親與皇上，殘酷殺死本州的長官，這豈是我楊阜一個人憂心自責的問題，一州的士大夫都因此蒙受到恥辱。你擁有重兵，受命全權管理這一地區，而沒有討伐逆賊之心，從前，趙盾正是因為這樣做而被史官記載為弒君的。馬超雖然強大，但不講道義，弱點很多，容易對付。」姜敘的母親慨然說︰「好了！姜敘，韋刺史遇難，也有你的責任，難道只是楊阜一個人嗎！誰能不死，能死于忠義，就是死得其所。你只應快些行動，不要再管我；我自會為你擔當，不會以我的余年牽累你。」姜敘就與同郡人趙昂、尹奉、武都人李俊等人，共同商議討伐馬超，又派人到冀城，結交安定人梁寬、南安人趙衢，讓他們做內應。馬超命令趙昂交出兒子趙月作為人質，趙昂對妻子士異說︰「我們已經如此謀劃，事情一定能成功，應當把趙月怎麼辦？」士異厲聲回答︰「能昭雪君父的大恥，就是掉腦袋也不足惜，何況一個兒子！」
楊阜與姜敘進兵，進入鹵城，趙昂、尹奉佔據祁山，以討伐馬超。馬超听到消息，大怒，趙衢乘勢編造理由，勸馬超自己率軍去進攻楊阜等人。馬超出城後，趙衢與梁寬等關閉冀城城門，把馬超的妻子兒女全部殺死。馬超進退失據，于是襲擊歷城，捉到姜敘的母親。姜敘的母親痛罵馬超，說︰「你這個背叛父親的逆子，殺害長官的惡賊，天地豈能長久容你，你不早死，還敢見人！」馬超殺死她，又把趙昂的兒子趙月殺死。楊阜與馬超大戰，身受五處重傷。馬超被楊阜等打敗，就向南投奔張魯。張魯任命馬超為都講祭酒，打算把自己的女兒嫁給馬超。有人對張魯說︰「像這樣的人，不愛自己的父母，怎麼能愛別人！」張魯才打消嫁女的念頭。曹*封賞討伐馬超的功臣，封十一個人為侯爵，楊阜被封為關內侯。
劉備即將平定蜀郡時，在漢中的馬超知道張魯是個不值得與其計議大事的人，張魯的部將楊昂等人又多次詆毀他的才能，因此心中憂郁。劉備派建寧督郵李恢前去游說馬超，馬超便從武都逃到氐人部落，秘密寫信給劉備請求歸降。劉備派人制止了馬超，但暗中派兵給以幫助。馬超來到成都，劉備命他率軍駐扎城北，成都城內的人非常震驚，心中恐懼。後來馬超被封為平西將軍。