1938年5月中旬，陈毅率新四军第一支队从皖南岩寺出发，进入苏南敌后，与粟裕率领的新四军先遣支队会师，活动于茅山地区。
茅山在南京东南百余里，是江南有数的大山，境内除部分山地丘陵外，河川湖泊交织，铁路、公路、水路纵横，人口稠密，物产丰富。自沦陷半年多以来，日寇到处烧杀淫掠，汉奸组织应运而生，土匪游杂部队胡作非为，人民群众处于水深火热之中。新四军展开在这块不算太大的地盘上开展游击战争，处在宁沪杭敌人的心脏地带，敌情严重，社会情况复杂、混乱，而新四军兵力少，武器简陋，军饷缺乏，敌我力量非常悬殊，加上指战员初到苏南，人地生疏，言语不通，生活条件艰苦。面对错综复杂的形势，敢不敢与日伪斗智斗勇，对全体干部战士是一个严峻的考验。
新四军初进江南，人民群众既欢迎又持怀疑态度。因担心引来日寇烧杀，群众人心惶惶，不让部队住民房、祠堂，不让战士在墙上写标语口号。新四军严格遵守群众纪律，不让进村就不进村，不让进屋就不进屋，露宿村庄、谷场，不拉伕、不派款、不扰民，对老百姓秋毫无犯，还争为群众做好事，以自己的模范纪律、政治宣传鼓动工作和对抗日事业的一片丹心，逐渐赢得了人民群众的信赖和支持。
日军自占领南京以后，就不把中国人放在眼里，以不足三个联队的兵力据守以南京为中心的芜湖、镇江等重要城市和交通沿线二十多个大据点，骄横疏忽，白天空着手下乡，晚上敞开门睡觉。
新四军各部不失时机地组织了一系列战斗，在苏南敌交通线上袭车船，拔据点，破路炸桥，拆通讯网，机动灵活，有效地阻挠了日军兵力及后勤运输，牵制了向华中内地侵犯之敌，掌握了战场主动权。日军顾此失彼，处于被动地位。
在我军打击下，日寇为维护交通，巩固南京，被迫放弃宣城、溧阳等据点，接着相继调116、15、17师团并5000伪军投入苏南战场，实行以攻为守的方针，改驱逐为主为分进合击为主，向以茅山和小丹阳为中心的地区分兵进攻，在交通线上和我军主要活动地区构筑据点，
形成对我重垒包围和封锁，企图聚歼我军或把我军挤出苏南。
在敌四面包围之中作战，稍有不慎，就有被吃掉的危险。新四军连续作战200余次，毙伤敌3000余人，缴获步枪千余支，轻重机枪20多挺。我军亦伤亡500多人。新四军在江南六个半月的战斗，给江南人民清楚地展示了中国抗战的前途，激发了群众抗日热情，他们主动送情报，救护、慰劳伤病员，筹集粮秣，站岗放哨，踊跃参军，从各方面支援新四军，使新四军在作战中如虎添翼、势如破竹。其中，新四军一支队二团苦战坚持，根据敌情的变化，采取高度灵活多变的游击战术，时而集中，时而分散，速战速决，快打快撤，迂回周旋，以伏击、袭击、近战、夜战等手段积小胜为大胜，9月至12月间，粉碎大小“扫荡”三十余次，其中千人以上的有9月的五路围攻和11月的十三路围攻，解放了一些农村，逐步变日军控制地区为我军控制，建立起许多小块游击基地，二团被支队命名为“模范团”。
在我军打开局面、站稳脚跟的同时，党的地方基层组织广泛建立，建立起青抗会、农抗会、妇救会等群众组织；开展统战工作，召开镇、丹、句、金四县各界代表会议，成立了具有政权性质的四县抗战委员会；争取和改造原有游击队武装，扶持发展地方武装，消灭不抗日而鱼肉人民的土匪，摧毁伪政权，肃清汉奸敌探；公布减租减息办法，安定地方秩序，发展农业生产。到1938年底，新四军一、二支队得到很大发展，主力部队由4000人发展到14000人，初步创立了以茅山为中心包括江宁、句容、丹阳、金坛、溧水、溧阳、镇江、丹徒、高淳、当涂、芜湖、宜兴、武进、无锡等广大地区的江南抗日根据地。