1926年，国民革命军攻克了两湖、赣、闽的主要城市，于是国民政府联席会议在11月决议将国民政府北迁武汉。然此时的国民政府受到苏联以及中国共产党的影响，引发中国国民党内右派对于左派亲共的不满。1927年3月，北伐军攻克了上海与南京。同年4月12日蒋介石发动政变，4月18日在南京另立国民政府。在成立大会上，发布了中国国民党中央政治会议关于奠都南京的宣言以及《国民政府宣言》，提出国民革命方略四条：密切革命军与人民的配合;造成廉洁政府;提倡保护国内实业;保障农工团体利益并扶助其发展。

　　南京国民政府采取委员制，由蒋中正、胡汉民、张静江、吴稚晖、钮永建等十二人为政府委员，由中政会主席胡汉民主持国民政府，钮永建为国民政府秘书长，蒋中正为国民革命军总司令，吴稚晖为总司令部政治部主任。政府各部门设有：财政部部长(古应芬，钱新之代)、外交部部长(伍朝枢)、民政部部长(薛笃弼)、司法部部长(王宠惠)、大学院院长(蔡元培)。政府辖区包括沪、苏、浙、闽、两广与皖之一部等，开始宁汉分裂。7月15日汪精卫武汉政府宣布反共，与南京政府合流。8月，武汉的中国国民党与国民政府执行分共清党，蒋中正在汪兆铭要求下辞去总司令之后，才宣布合作。同月，南京成立特别委员会，并改组国民政府。12月，国民政府发布讨伐广东令。

　　1928年2月3日至2月7日，中国国民党二届四中全会在南京召开，会议通过了“改组国民政府”等议案。规定国民政府接受中国国民党中央执行委员会指导、监督，掌理全国政务，政府委员由国民党中央委员会选举，政府部门设有内政、外交、财政、交通、司法、农矿、工商等部以及军事委员会、最高法院、监察院、大学院等。会议推举谭延闿为国民政府主席，蒋中正为军事委员会主席兼国民革命军总司令。9月，国民党二届五中全会在南京召开，宣称全国进入训政时期，由国民政府执行训政职责，并决定以五院制组成国民政府。10月，国民政府公布《中华民国国民政府组织法》，规定国民政府总揽中华民国之治权，政府由行政院、立法院、司法院、考试院、监察院五院组织成立。国民政府设主席一人，委员十至十二人。国民政府主席兼任陆海空军总司令。同时，任命蒋中正为国民政府主席兼陆海空军总司令。至此，国民政府的政权组织形式渐趋完备。

　　1928年6月，革命军进入北京，国民政府在6月15日发表全国统一的宣言，12月29日，中国东北奉系将领张学良，因为父亲张作霖被日本关东军谋害的国仇家恨，遂通电南京，公告东北易帜，放弃北洋政府五色旗，改立青天白日红旗，名义上接受国民政府领导，北伐成功，中国统一。蒋中正领导北伐成功后，国民政府正式成为国际承认的中国政府。

　　1927年8月1日，中国共产党及国民党左派发动了南昌起义(国民政府坚持将其视为“南昌暴动”或“南昌起事”)，8月4日，中共部队败退，放弃南昌，南下广东。途中到达汀州时，革命委员会决定沿用国民政府的名义对外，并以谭平山为国民政府委员长，陈友仁、顾顺章、王荷波、苏兆征等为国民政府常务委员。9月24日，中共部队到达汕头后，决定正式成立国民政府，并决定由谭平山出任国民政府主席。25日张太雷到达汕头，提出反对此前的决定，并即于第二天召开南方局会议，决定暂不发表国民政府名单。此事搁置，随后形势恶化而终不成事。

　　1930年10月，刚赢得中原大战的蒋中正来到南昌指挥剿匪(即对共产党之围剿)事宜，在原江西省立图书馆设置“南昌行营”，是江南五省剿匪总部，设置期间也成为国民政府的军政中心，被时人称为“第二首都”。蒋中正在对中共军队连续发动军事围剿和实行文化改革的同时，1934年在南昌发起了新生活运动。该行营至1935年2月移驻武汉后结束。

　　1931年11月7日，东北九一八事变后不久，于苏联国庆日，中国共产党在江西瑞金建立中华苏维埃共和国临时中央政府，和中华民国国民政府对抗。

　　1932年1月28日晚，日军出动海军陆战队，进攻长江上海，企图占据上海直逼南京，迫使国民政府召开紧急会议改组政府。1月29日，国民政府迁都洛阳，直到12月1日才又迁回南京。

　　1933年11月20日，十九路军在福州爆发闽变，建立中华共和国人民革命政府，1934年1月13日被国军中央军瓦解。1937年9月6日，中华苏维埃共和国最后一个政府机关“中华苏维埃共和国临时中央政府西北办事处”在延安被中华民国政府改编为陕甘宁边区政府。成为国民政府行政院的一个直辖行政区域。