冯玉祥任陆军检阅使驻南苑时，李大钊利用冯玉祥与吴佩孚的矛盾，一直在劝冯反直。他曾对冯说:“孙先生在南方，冯检阅使在北方，如能同心协力，效法苏俄，刷新政治，中国就有前途。”
冯玉祥发动北京政变，或多或少与李大钊的影响有关，政变后李大钊、徐谦积极帮助冯玉祥向苏联争取军事援助，同时争取在冯玉祥国民军中开展政治工作。
李大钊为国民军制订了详细的政治工作计划，预定成立10个俱乐部，在俱乐部设立政治经济学小组和三民主义小组，在俱乐部外围设立各种政治与文化教育组织。冯玉样有顾虑，只同意成立2个俱乐部。国民军的政治工作主要由李大钊、徐谦以及宣侠父领导。
1926年初，吴佩孚、张作霖实现和解，决定“联合讨赤”，先消灭北方的国民军，再对付南方革命力量。2月，中共在北京召开特别会议，指出:“目前在北方的军事工作，唯一是在帮助国民军”。大沽口事件发生后，徐谦、李大钊在北京组织群众游行，直至发生“三.一八”惨案。惨案发生后，中共中央号召全国民众“不惜以重大牺牲实际援助冯玉祥所领导的国民军。
国民军在直奉联盟的围攻下，处境很不妙。
1926年3月19日，李大钊在北京主持有苏联顾问参加的国共两党领导人会议。会议接受了苏联顾问普里马科夫的建议，认为国民军必须退出京津，将主力撤至南口。
李大钊等人为国民军制定坚守南口的战略部署，目的是等到南方革命军出师北伐的时候，国民军能够从北方响应，牵制吴佩孚、张作霖的兵力。
南口激战时，冯玉祥并不在国内。1926年3月20日，冯玉祥出发去了苏联，5月9日抵达莫斯科。在莫斯科，他见到了李可夫、加里宁、托洛茨基、季诺维也夫、伏罗希洛夫等人。
冯来苏联的目的有三，一是以退为进避风头，二是寻求军事援助，三是取经，了解和学习主义的威力。
陪同访问的苏联顾问乌斯马诺夫与冯玉祥同住莫斯科郊外的查理村。乌斯马诺夫每天给冯玉祥讲1个小时的辨证唯物论。加里宁、托洛茨基都对冯玉祥谈到军队政治工作问题。托落茨基告诉他:治军在主义，不在武器；作战以骑兵为要，尤其在宣传。“
途经库伦回国时，鲍罗庭、徐谦反复劝冯玉祥加入国民党。
鲍罗庭对冯说：“公拥有中国最强毅之军队。二十年来，志存救国，但不悉公之救国方针、具体计划如何，何时实现。公之救国大策，如有优于国民党者，鄙等当离国民党以援公;倘竞无之，请公速加入国民党，接受其主义及政策，联合一致，共计革命之大成，实所深望!"
在徐谦的介绍下，冯玉祥加入了国民党。