早在1921年12月，共产国际代表马林会见孙中山的时候，就向他建议创办军官学校，以建立革命军的基础。1923年9月，孙中山派以蒋介石为首的代表团访问苏联，学习苏联的建军经验。11月15日，中国国民党临时中央执行委员会第6次会议通过了建立革命义勇军的决议。27日，中国国民党临时中央执行委员会第11次会议，议决建立军官学校的有关事项。

1924年1月24日，孙中山以大元帅名义委任蒋介石为陆军军官学校筹备委员会委员长，并任命邓演达、王柏龄、沈应时、林振雄、俞飞鹏、张家瑞、宋荣昌7人为筹备委员。1月28日，确定以原广东陆军学校和广东海军学校的旧址长洲要塞--黄埔为军官学校的校址，故称黄埔军校。孙中山兼任军校总理。

5月3日，蒋介石被委任为校长。9日，廖仲恺被委任为军校的国民党代表。随后，李济深被任命为教练部主任，邓演达为副主任兼总队长；王柏龄、剑英为教授部正、副主任；戴季陶、周恩来为政治部正、副主任。11月，中共广东区委委员长周恩来接任政治部主任；林振雄为管理部主任；周骏彦、俞飞鹏为军需部正、副主任；宋荣昌、李其芳为军医部正、副主任；何应钦为总教官。29日，又增设教育长，由胡谦担任。还聘请布留赫尔等苏联红军将领为军事顾问。军校筹备工作基本就绪。

5月初，第一期学员录取正式生350名，备取生120名。其中，共产党员和共青团员有56人。5月5日，新生开始入学。

6月16日，举行开学典礼，黄埔军校正式建立。这一天，正好是陈炯明叛变两周年的日子，孙中山决定把这一天作为黄埔军校的典礼日子，是为了让大家记住这个耻辱的日子。