1260年初，从蒙、宋前线匆匆北返的忽必烈抵达燕京。他在燕京附近驻扎了将近三个月。蒙哥汗亲征时留镇漠北的阿里不哥，竭力诱使忽必烈口到草地，好逼迫他就范，再名正言顺地登上大汗宝座。忽必烈则清楚地意识到，在阿里不哥鞭长莫及的情况下，自己在控制和调动进入汉地的蒙古军及汉军方面拥有莫大的优势与便利。因此他不肯轻易离开经营有年的中原而贸然北上。双方间使臣往返，交涉不断，矛盾日趋激化。1260年4月中，忽必烈拘禁阿里不哥派往燕京的心腹脱里赤，先发制人，在新筑成不久的开平城宣布即大汗位。

拥戴忽必烈最积极的宗王，是成吉思汗幼弟斡赤斤的孙子、在东道诸侯中居长的塔察儿。他曾因攻宋无功而返，受到蒙哥汗的严厉训斥。早在事态还相当微妙时，忽必烈就派廉希宪到军前结欢于塔察儿，相约“若至开平，首当推戴，无为他人所先”。这为日后由塔察儿“率先”，从而诱逼在场的其他宗室“相继劝进”安排了最关键的一着。合辞推戴的诸王，还包括移相哥（合撒儿子）、忽刺忽儿（合赤温孙）、合丹（窝阔台子）、阿只吉（察合台曾孙）等。一度滞留于汉地军中的蒙哥子阿速台这时已北投阿里不哥，没有与会。

践柞次月，忽必烈以《即位诏》颁行天下。诏书明确宣布。“祖述变通，正在今日”。它表明了新政权参用中原王朝的传统体制以改变“文治多缺”局面的决心。又次月，复以建元中统诏天下，更明确地强调新政权之为中朝正统、“天下一家”的地位。

建国之始最早的新行政机构，是统辖中原汉地政事的燕京路宣慰司。翌月，以王文统、赵壁为中书省平章政事，但这时候的“中书省”似乎还不像是国家正式的中枢机构，建制也极不完备。倒是燕京宣慰司所属的各路宣抚司则渐次创置：不久就进一步完善为十路宣抚司的建制。主持各路宣抚司的官员，大多是汉人（包括祖居中原的契丹人）出身的政治家，少数是汉化程度很高的色目人如廉希宪、赛典赤等。中统元年七月，升燕京宣慰司为燕京行中书省，王文统、赵壁并以中书省平章领行省事，它实际上承担了当时朝廷临时行政中枢的职能。中统二年敦促南宋履行鄂州城下之盟的移宋三省牒文，就是以燕京行中书省的名义颁布的。

与此同时，忽必烈又毫不迟疑地着手征调和组编忠于他个人的精锐部队，用以保卫大汗，戍守北方各地，尤其是燕京、开平一线心腹地区。由于蒙哥的怯薛大军在扶枢北归后大部滞留于漠北，忽必烈便在潜邪宿卫的基础上迅速扩充、重建大汗的怯薛部队。此外他还多次征集各地兵员，很快组建起拱卫京畿的侍卫亲军。统领侍卫亲军的，是多年跟随他出生入死的亲信董文炳等将领。立国之初，“目前之急虽纾，境外之兵未戢”（《元史?世祖纪一》）。为防范阿里不哥，朝廷亟命“诸路市马万匹送开平府”，“诏燕京、西京、北京三路宣抚司运米十万石”至漠南沿线，很快完成了扼守大漠南缘、伺机渡漠远征的战前部署。为了集中力量首先征服阿里不哥，忽必烈在中统头两年对南宋的背约行为也采取极为克制的态度。他虽在蒙宋交界线“置江淮、江汉两大都督，东则李?，开府益都；西则史权，开府邓州，与宋扬州、襄阳两别帅犄角”。但他的意图只在镇边，并不急于攻宋。国信使郝经被拘，不过遣官诘问而已；宋私商违禁越境买卖，“诏宥之，还其货，听榷场贸易”；甚至当南边将士求战心切，“皆以举兵南伐为请”时，忽必烈也只是下一纸诏文，虚称当待“秋高马肥，水陆分道而进，以为问罪之举”，藉以慰抚军心。

忽必烈在漠南抢先即位，完全打乱了阿里不哥的预谋。后者只得匆匆于1260年夏季，在驻夏据地阿勒泰山中，召集留守漠北份地的诸王宗戚，举行大会，并在会上被拥立为大汗。出席大会的，有察合台子哈刺旭烈的寡妻兀鲁忽乃妃子、察合台孙阿鲁忽、窝阔台孙?尔赤（合丹子）、海都（合失子）、术赤孙忽里迷失和合刺察儿、蒙哥子阿速台和玉龙答失、塔察儿子乃马台、别勒古台之子等。这样就出现了两大汗相抗衡的局面。站在阿里不哥一方的有影响的东道诸玉似乎很少，但他从西道诸王那里获得的支持，又要多于忽必烈。尽管当时正在经营西亚的皇弟旭烈兀和立国伏尔加河流域的拔都后玉别儿哥，态度都不无暧昧之处，然而替旭烈兀留守漠北份地的他的儿子药木忽儿，最初是支持阿里不哥的。而别儿哥冲制的钱币上刻有阿里不哥的名字，更表明钦察汗国在阿里不哥失败前一直认为只有后者才真正代表了蒙吉大汗的统系。

成吉思汗直系各支宗王的政治态度对忽必烈颇为不利。为改变此种局面，忽必烈先派支持自己的察合台后王阿必失哈（阿只吉长兄）急驰西北，企图用他控制察合台兀鲁思的政局，使之与中原汉地势力为犄角，?制漠北。阿必失哈一行在途经河西时为阿里不哥的军队截留，察合台兀鲁思落入阿里不哥派去的阿鲁忽之手。不久，阿鲁忽和旭烈兀渐与阿里不哥生隙。忽必烈抓住时机，以明确承认二者在各自势力范围内的既有权益为条件，争取他们对自己的支持。他宣布，自阿姆河西至马木鲁克疆界的塔吉克地面当归旭烈兀统治守卫，自阿勒泰山至阿姆河之地则由阿鲁忽镇守。至此，除术赤后王早已分治于钦察草原之外，突厥斯坦西部及河中地区、波斯和呼罗珊也正式从大汗直接领有的国土中分立出来，成为中央汗廷的守藩之国。建国次年，忽必烈与西道诸王的关系基本和解，遂使他得以全力对付阿里不哥。

1260年秋，阿里不哥兵分两路，大举南下。东路军由旭烈兀子药木忽儿、术赤后王合刺察儿统率，自和林逾漠南进。西路军由阿兰答儿统领，直指六盘山，意在接应从四川前线退屯该地的蒙哥攻宋主力，这支军队在蒙哥死后曾归阿速台节制，阿速台投奔漠北后，一直控制在阿里不哥的大将浑都海和哈刺不华手里。

阿里不哥的左路军以宗王为帅，而且直接威胁汉地政治经济中心燕京，因此忽必烈亲自领军逆之，而以移相哥、纳邻合丹（当为合赤温孙）为其前部。移相哥军击溃药木忽儿和合刺察儿，阿里不哥难以继续立足和林，匆匆退到由他继承的拖雷分地吉里吉思。忽必烈大概是循帖里干道，顺利进至和林。其时约在当年初冬。当时和林城的残破或许相当严重，所以到达不久，忽必烈便南至汪吉河（今翁金河）冬营地，以为短期休整。阿里不哥生恐忽必烈乘胜追击，乃遣使假意求宥，并称待马力稍复，再赴阙谢罪。忽必烈深以汉地政局为念，遂留移相哥镇漠北，自己冒严寒逾漠南返。

南指六盘山的西路军虽为偏师，但它牵动川蜀关陕，使那里本已化险为夷的形势又紧张起来。原来早在廉希宪受命宣抚京兆、四川时，屯兵观望于六盘山的浑都海就企图联络阿里不哥遣往关中的刘太平、霍鲁怀及川蜀军中亲阿里不哥的将领发难。廉希宪当机立断，捕杀刘太平、霍鲁怀，以处于弱势的秦巩世侯汪家的军队拒阻浑都海，“但张声势，使不得东”。浑都海果然中计，“闻京兆有备，遂西渡河，趋甘州”，采取了“重装北归，以应和林”的下策。关陕之危竟得安然解脱。可是当阿兰答儿提兵与北归途中的浑都海会师之后，这支军队重又折返东向，并派人约结陇蜀诸将，一时“人心危疑”，朝士至有捐弃两川、退守兴元之议。两军兵锋初接，朝廷方面又先失利，遂愈使“河右大震”。这时候，忽必烈增派的诸王合丹（窝阔台子）、哈必赤（合撒儿子）等率师与汪惟良、八春等“合兵复战西凉，大败之，俘斩略尽”。阿兰答儿、浑都海被擒杀。关陇遂安。

中统二年二月，诏命燕京行省及各路宣抚使北上开平，会议军国大政。三月末，燕京省官毕集开平。本年夏季，除检核钱谷、充实省部、摧用辅粥外，朝廷还为中央和地方官府制定了若干具体的行政条款，行政中枢既经调整扩充，更明确地分为两个班子，以史天泽、张文谦等人留中，王文统，廉希宪等行省事于燕。秋，又置大司农官，并置十道劝农使司，“为之使者，皆取于故国老人、君子长者，亲行田里，谕以安辑，教之树艺”。

溃败远遁的阿里不哥，歇息于吉利吉思；至1261年秋天，元气稍有规复，又举兵东来。他事先遣使向移相哥伪称率众来归，使移相哥疏于防备，因而突袭成功。移相哥大军溃散，和林城再次失守。十月，忽必烈率诸路汉军与蒙古诸王所部再度北征。两军相遇于昔木土脑儿之西，阿里不哥先因所部外刺军队溃败撤兵。待阿速台率领的后继部队赶到，阿里不哥回军再战。其右翼被击败，左、中两翼与忽必烈军鏖战至夜仍不分胜负，自是双方引军后退，相峙于大碛南缘。是年冬末，忽必烈师还，“诏撤所在戍兵，放民间新签军”（《元史?世祖纪一》）。形势似乎缓和下来。1262年，据守和林的阿里不哥因粮饷不继，而由他派往察合台兀鲁思的阿鲁忽又拒绝听命，截留他征集的货物，因此愤而移兵西讨阿鲁忽。阿里不哥自知一旦挥兵西指，和林终将不守，所以临行指令和林城诸长老，许其举城归降忽必烈军。阿里不哥西徙后，忽必烈所部果然不战而收复和林。

1262年冬，阿里不哥在击败阿鲁忽后驻营于阿力麻里，他肆行杀掠，伊犁河流域为之残破不堪。1264年春，阿力麻里大饥，军心愈亦涣散。阿里不哥计出无奈，被迫向忽必烈输诚。长达五年的汗位纠纷由此结束。这次纷争，客观上为蒙古军事贵族中主张“祖述变通”以“补偏救弊”的一派把统治中心从碛北移至漠南，从而更加便利于他们采纳汉法，加强对中原的统治，提供了一个适逢其时的契机。