回到黄埔军校，蒋介石命令：解散“青年军人联合会”，军校和第一军中有共产党员身份者，一律到国民党特别党部登记，立即退出军界；为遮人眼目，又命令解散“孙文主义学会”，代之“黄埔同学会”，由他蒋介石派人当家，所有军校学生均须参加，不参加者按共产党员学生处理，要不退学，要不被抓被杀。
走完这着棋，蒋介石再使出更恶毒一招，以“消除国共两党疑虑，杜绝纠纷”为借口，声称要搞好国民党内部，实行精诚团结，才好北伐，在国民党二届二中全会上提出《整理党务案》，规定共产党员在各级党部执行委员的人数，不得超过全部执委的三分之一；共产党员不得担任国民党中央各部部长；加入国民党的共产党员名单必须全部交出；共产国际对共产党的指示和共产党对国民党中共产党员的指示，均须先交国共两党联席会议讨论后始能发出等等。虽然毛泽东等坚决反对接受这一提案，但陈独秀口口声声要避免共产党“包办”国民党之嫌疑，“以利于两党团结”，并派张国焘强令共产党员完全接受蒋介石的提案；下令担任国民党中央各部部长的毛泽东、谭平山等全体辞职。于是，蒋介石乘机当上国民党中央组织部长、国民党执行委员会主席。不久，又自命为国民革命军总司令。