解放战争进行到1947年夏季的时候，我军逐渐开始由战略防御转入战略进攻。为了适应新的作战需求，当年7月末，陈赓率领的第4纵队与秦基伟的9纵和起义部队38军外加太岳军区第22旅一起合编为陈谢兵团，下辖8个旅，总兵力8万余人。陈赓为兵团司令兼前委书记，谢富治为政委。

当时查玉升在陈谢兵团中担任第22旅的旅长。他是安徽六安人，很小的时候父母就因病去世了。幼小的查玉升以讨饭为生，年纪稍长后开始给地主家打短工，吃了不少苦。1931年，17岁的查玉升加入了红军队伍，跟随部队在鄂豫皖根据地和川陕苏区与敌人作战，立下许多战功。

抗日战争全面爆发后，他进入八路军129师任职，在陈赓手下当连长。386旅渡过黄河后在一个村庄里宿营，半夜的时候，一个汉奸偷偷溜出村子，向小鬼子告了密。很快日军就出动重兵将村子包围，危急时刻，查玉升亲提机枪，带头冲锋，将小鬼子的包围圈撕开了一道口子，陈赓趁机率部冲出了重围。

经过这次险情后，陈赓认为部队要想安心打小鬼子，就必须先把那些为虎作伥的汉奸除掉，并把这个任务交给了查玉升。经过仔细的侦查和布置后，查玉升在夜深人静的时候潜入城中，将那些罪大恶极的汉奸一一铲除，使小鬼子失去了耳目。之后查玉升跟随陈赓参加了许多伏击战，累积战功升任团长。

抗战胜利后，查玉升又参加了解放战争，继续在陈赓的指挥下战斗。陈谢兵团成立后，他出任22旅的旅长，跟随主力参加了伏牛山东麓战役和平汉线破袭战，消灭敌军数万人，解放县城30多座。1948年年初，陈谢兵团挺进中原，准备发起洛阳战役。不料就在战役即将发起前，时任22旅旅长的查玉升却怒怼兵团政委谢富治：你这是瞎胡闹！这是怎么回事呢？

当时各大野战军中都补充了不少俘虏兵，为了提高部队的战斗力，开展了新式整军运动，主要内容是诉苦教育和三查三整。在陈谢兵团中，负责新式整军运动的是政委谢富治。他和陈赓是老搭档，在一起合作了多年。本来这次新式整军运动按照上级的布置主要是搞诉苦教育和三查三整，但谢富治却别出心裁，又增加了一个“贫雇农当家”。

这个“贫雇农当家”就是让贫农和雇农出身的指战员掌握部队中的重要岗位，那些出身不好的干部则受到排挤，有的被降级，有的被撤职。与此同时，谢富治还把一些贫雇农出身的战士组织起来，成立了一个搜查队，对各级干部的行李进行搜查，美其名曰“分浮财”。

查玉升手下有一个团长，是富农出身，结果在“贫雇农当家”中受到冲击，职务被撤销，成了普通战士。查玉升对此十分不满，更无法理解，于是亲自找到谢富治理论，并斥责他是瞎胡闹。查玉升很小的时候就成了孤儿，家境比谢富治还贫困，参加革命后作战英勇，屡立战功。谢富治见他不支持自己的“贫雇农当家”，很生气，但却拿他没有办法。

谢富治在部队中搞“贫雇农当家”是背着陈赓进行的，当时陈赓不仅是兵团司令，还是前委书记。按照常理来说，谢富治在新式整军运动中加入“贫雇农当家”是一个大事，理应和陈赓打招呼，并通过召开前委会来研究决定。但谢富治不仅没有通知陈赓，还指使搜查队冲进陈赓的住处“分浮财”。

搜查队有顾虑，并没有马上行动，谢富治说：“凡是出身不好的干部都要搜查，司令员也不能例外！”于是搜查队就冲进了陈赓的住处，二话不说就开始东翻西找。当时解放军的条件还比较艰苦，陈赓在兵团指挥所搭了一个行军床，既能办公又可以休息。这里面有不少机密文件，搜查队冲进来一通乱翻，部队的作战计划随时都有可能泄露。

陈赓对此十分生气，当即板起脸来把这些搜查队训斥了一顿，并问他们是奉了谁的命令这么干，一问之下才知道是谢富治搞的鬼。陈赓当即找到他，质问这么大的事情为何不通过前委会表决，并斥责他是要把部队搞乱。谢富治认为这是自己职权范围内的事情，因此拒绝整改，还称要继续推行“贫雇农当家”，并把不是贫雇农出身的支部书记王步青给罢免了。

谢富治此举等于人为地在部队中制造对立，一时间搞得人心惶惶，对部队备战洛阳战役带来了极为不利的影响。陈赓见谢富治不听劝，很快将此事向上级做了汇报。不久后上级回电，明确要求取消“贫雇农当家”的做法，谢富治这才偃旗息鼓。陈赓随即做了补救措施，将那些之前被排挤的干部调回到了原来的位置上，并对他们进行了安慰，这才稳定了军心。

不久后洛阳战役打响，陈赓和陈士榘联手，仅用6天时间就攻克洛阳并活捉了邱行湘，这也是解放军挺进中原以来第一次攻克国军坚固设防的中等城市，为之后的城市攻坚战积累了宝贵的经验。查玉升在这次战役中表现非常出色，后来升任41师师长。新中国成立后，他又参加了抗美援朝战争和对越自卫反击战，1955年被授予少将军衔。