政协闭幕后，自2月14日开始，国共两党代表张治中和周恩来在马歇尔的调停下，开始谈判解决棘手的军事问题。当时正值政协闭幕后的政治和解期，谈判气氛较为和谐，国共双方的意见分歧主要集中在马歇尔提出的军队混编方案。马歇尔提出，在整编开始时即实行国共军队以师为单位的初步混编。中共认为，这是按西方民主制度改变中国军队制度及军人思想，对破坏国民党及许多军队的原系统是彻底的，但事实上行不通，可原则上赞成；同时认为，混编“目的是企图消灭或控制中共军队，故绝不能答应”。国民党军队中，有人担心因此造成“排除异己，培植私人势力”，而且将使“原先本甚单纯的军事系统，反而弄得庞杂了，指挥不易，士气消沉，战斗力也因此丧失”，他们也反对马歇尔的混编方案。马歇尔折中国共双方的意见后，提出将混编时间推迟到一年之后，先以军为单位混编，直到一年半之后，再进行以师为单位的混编，此举得到了国共双方的同意。2月25日，张治中、周恩来、马歇尔签署了《关于军队整编及统编中共部队为国军之基本方案》，主要条文为：（1）国民政府主席为军队最高统帅，但在撤免中共部队军官时，应由政府内的中共代表提名。（2）本协定公布后12个月内，政府军缩编为90个师，中共军缩编为18个师；此后6个月，政府军缩编为50个师，中共军缩编为10个师；合编为20个军。（3）整编开始后12个月终了时的军队配置为：东北，政府5个军，中共1个军；西北，政府5个军；华北，政府3个军，另有4个集团军（其中政府和中共各有1个军，双方各任2个集团军总司令）；华中，政府9个军，中共1个军；华南，政府4个军。18个月终了时取消集团军，配置为：东北，政府4个军，另有1个军（其中政府2个师，中共1个师，政府军官任军长）；西北，政府3个军；华北，政府2个军，另有3个军（其中政府1个师，中共2个师，中共军官任军长），再有1个军（其中政府2个师，中共1个师，政府军官任军长）；华中，政府3个军，另有1个军（其中中共2个师，政府1个师，中共军官任军长）；华南，政府2个军。（4）军调部为本协定执行机关，协定生效后，政府及任何党派组织不得保持或支持任何秘密或独立武力。