孙恩起兵，消耗了晋廷兵力，造成京防空虚，这给盘踞长江上游军事重镇荆州、虎视三吴、伺机而动的桓玄以可乘之机。之后桓玄攻入建康，杀司马元显，收夺刘牢之兵权，以其堂兄桓修代之。刘牢之惧祸而逃，后自缢身亡。刘裕审时度势，暂投桓玄以行韬晦。由于刘裕屡建军功，于北府旧部中颇有声望，故桓玄也不敢小视他，任命他为中兵参军。

桓玄称帝后为消除隐患，欲瓦解北府兵，大力剿杀北府兵旧将，北府军几乎遭到灭顶之灾。正在桓玄盘算之际，刘裕也在暗中和北府兵残余兵将联络，伺机反攻桓玄。元兴三年二月，刘裕以打猎为名，聚集北府兵残余兵将一千七百余人，在京口举兵起义，歼灭了桓楚在此的兵力，杀死桓修。接着，众人推刘裕为盟主，传檄四方，各地纷起响应。

刘裕在进建康城后，派诸将追斩桓玄，晋安帝在江陵复位。然而，桓氏势力仍在荆州盘踞，并反攻江陵。直至义熙元年，晋军才再收复江陵，驱逐当地桓氏势力，并迎安帝返回建康。不久，刘裕还镇丹徒。

义熙元年，刘裕遣使到后秦，要求后秦归还之前占领的南乡、顺阳、新野、舞阴等淮北诸郡，后秦皇帝姚兴可能鉴于西面战事吃紧，不想再在东面又与刘裕为敌，于是答应将淮北的南乡、顺阳、新野、舞阴等十二郡全部归还给东晋。

消灭割据政权

东晋自偏安以来，时时面临着北方的威胁。祖逖、庾亮、褚裒、殷浩、桓温都曾先后北伐，但无一成功。为了强大自身，刘裕决定兴师北上攻伐南燕。义熙六年二月，南燕将领率军挖地道出击晋军，被击败，退回内城。刘裕乘机四面攻城，南燕尚书悦寿打开城门迎降，晋军攻入广固内城。慕容超率数十骑突围而走，被晋军追获，南燕灭亡。刘裕以广固久守不降为由，入城后，尽杀南燕鲜卑族王公以下三千人以泄愤。慕容超被押送回京师，在建康街头斩首。

消灭南燕后，刘裕又图伐蜀。义熙八年十二月，因赏识朱龄石的军事才干和丰富经验，刘裕不顾他人反对，超擢他为益州刺史，命其率臧熹、蒯恩、刘钟和朱林等共领二万人伐蜀。一年后，晋军成功打下巴蜀之地，巴蜀地区再入南方版图。刘裕加授羽葆、鼓吹及班剑二十人。刘裕灭蜀后，下令精简各地劳役，休养生息。刘裕征蜀时，也在图谋收复汉中。当刘裕的西征大军攻占益州，灭掉西蜀政权后，便趁胜出击汉中反攻仇池守军，仇池一溃千里，被迫撤出汉中，献上降表，向刘裕称臣。

关中得失

义熙十二年一月，后秦皇帝姚兴死，姚泓继位，内部叛乱迭起，政权不稳。刘裕认为这是灭亡后秦的良机。八月，刘裕以刘穆之任尚书左仆射，内总朝政，外供军粮，自己率大军分四路北伐。九月，刘裕扺达彭城。龙骧将军王镇恶、冠军将军檀道济领兵由淮、淝转向许、洛，后秦诸屯守皆望风降附，晋军进展神速。十月，王镇恶军占领洛阳。一年后，王镇恶突破潼关防线，率师直进，一举攻陷长安，姚泓率群臣投降，后秦灭亡。

义熙十三年的冬天，刘裕率晋军浩浩荡荡地抵达长安。他想在此稍作休整，经略关中，不料，传来了刘穆之病死的消息。刘裕汇集在长安的文武将佐讨论，表露出自己继续西征的愿望以及对后方的忧虑，当时大部分人也不赞成继续北伐。刘裕遂留其十二岁的儿子刘义真以及王修、王镇恶、沈田子等文武共守长安，自己统军南归。刘裕此举，为夏主赫连勃勃的谋臣王买德窥破心迹。在刘裕南归不久后，赫连勃勃派军南断青泥，东扼潼关，率大军进攻长安。