二十军奉命赶到郴州附近时，郴州已陷敌手。于是利用敌间隙于夜间穿越粤汉铁路，经桂阳、嘉禾、兰山，江华、道县，越过五岑山脉，向广西前进。在离开湖南途中，薛岳为了截留归20军建制指挥的新二十师，竟派保安团队围堵。杨帅因以大敌当前，应团结对敌，毅然将新二十师交给薛岳，只带20军五个步兵团、一个辎重兵团和中央配属的一个炮兵团，进入广西富川，经平乐到荔浦作暂时休整。白崇禧曾到荔浦召开会议，慰问20军全体官兵，并勉励与广西军民密切合作，共同保卫广西。
当20军总部到平乐时即得知桂林已失守。第四战区司令张发奎长官率部退驻黔桂铁路线上的宜山，令20军固守柳州及其外围，阻敌前进。日寇在占领桂林后，开始沿着铁路线向柳州推进。
20军总部进至永福，四战区将铁道兵团拨归了20军指挥。即沿撤退线路断后爆破铁路、桥梁、车站等，阻滞日寇前进。经鹿寨时爆破榕江大桥，伤亡的人不少。至此20军部队急在修仁的通三江公路布防，掩护柳州侧背。
一三三师的肖传伦团、陈德邵团在修仁城外十二里处占领阵地，彭泽生团为预备队。战斗一开始，敌即将肖陈两团包围，并以主力向预备队彭泽生团进攻。师命肖陈两团突围，一面命彭泽生团坚守阵地，掩护肖陈两团撤退道路，彭团因战斗激烈伤亡也大。师命工兵连、防毒连受彭团指挥参加战斗。师长周翰熙亲临第一线指挥。到次日十时，距师指挥所三十里的搜索连也赶到现场受彭泽生指挥。周翰熙当时决心牺牲彭团也要保持肖陈两团退路。陈团于十一时突围。但彭泽生（三九七团团长）却因保三九八、三九九两团归路，在与敌激战中英勇殉国了。
修仁战后，总部派铁道兵团破坏柳州大桥，侦知日寇主力由永福直插龙江，企图由龙江河上游包围柳州，并截断我军向贵州的退路。杨森因命二十军在柳州后面三岔布防。命一三三师赶到龙江河阻敌西进。一三三师派搜索连在鼎山墟担任前进阵地警戒。这时柳州敌人以主力沿黔桂铁路向贵州进犯，一部经柳州作右翼迂回，掩护铁路右侧背。四战区长官部命杨森指挥丁治磐二十六军在铁路以西，沿黔桂公路经宜山、河池、南舟退入贵州境内。每日早晚用步话机联系。当总部到罗城附近时，杨森电我由宜山到自由市与总部同行，（因我当时系总部办事处长，在宜山与四战区张发奎长官部联系）我当晚宿天桥，次晨拂晓即闻右前方不远有枪声，判断系总部（因这是总部来的方向）与敌接触。因不去自由市，而由小路直趋天河。
次日午前，杨森率总部亦到天河。得知总部昨晚在罗城附近四把宿营时，日寇亦由三河迂向四把前进，并在四把宿营。彼此宿营地相距甚近。由于黑夜不明情况相安无事。次晨拂晓，日寇发现总部宿营地，立予袭击。杨志率特战营反应及时，沉着应战，将鬼子击退，顺利掩护总部撤离。日寇这时以一部经天桥包抄宜山，（张发奎长官部由宜山退驻贵阳）与铁路正面敌人会师直逼贵州，在天桥附近山地与我阻击部队一三四师发生激战；大部经天河向二十军追击，在大环河、小环河，遭到二十军部队凭河抵抗。以后到黔桂交界的立门关，我一三三师一个团与一三四师一部扼险阻击，激战一日，予敌以重大伤亡，然后向荔波撤退。
旋敌进犯荔波，军与总部复退榕江；由于铁路正面无我军，敌即沿黔桂路直趋贵州的独山。在该处担任都（匀）独（山）警备司令的韩汉英（广东人，兼第四军分校主任）事前毫无准备，于十二月一日敌骑窜扰上司时，即闻风先行逃跑，致日寇于一九四四年十二月二日宣传“无血占领”地侵占独山城。奸掳烧杀，无恶不作。一军曹指挥倭寇于四日午后用火把照明搜索一山洞时将汽油引燃，致洞存炸药轰烈爆炸，当炸死日军百余人，洞侧里州寨几十户人家全被炸毁，损失极为惨重。贵州系重庆的后门，当日寇逼近贵州时，蒋介石大为震动，除在河南调汤恩伯部飞援贵州外，又令重庆警卫军兼程赶到独山附近，受杨森指挥反攻独山。杨森奉命后，于是指挥二十军、二十六军分道向独山急进。
二十军行至独山东南约九十华里附近，军长杨汉域派一三三师三九九团（缺第二营）为前卫，扫清沿途敌人。团长陈德邵侦知日寇约二百余人在三洞集（我军必经之路）以南一个大寨子宿营，即令第一营占领阵地，将寨子包围封锁，迫使敌人龟缩寨内，以利我军安全通过。又以第三营占领三洞集附近高地，并查明三洞集无敌人，立即分别报告师、军、总部迅速通过。（因当夜发现三洞集以南约十华里有多数电筒火光，判断为敌增援部队）为保证炮团和兵站通过安全，军长杨汉域加派军搜索营受陈团指挥。次晨我军通过完毕，陈德邵一面令搜索营掩护炮团和兵站沿军、总部行进路跟进；一面令第一营猛袭寨内日军。旋敌援军千余人赶到，分数路向陈团猛攻。由于陈团浴血奋战，并占据有利地形，多次将日寇击退。经过整日激战，重创日军，粉碎其增援独山的企图。
杨森总部通过三洞集后，即与二十军部队昼夜连续行军赶到独山附近。立即指挥二十军、二十六军、警卫军分道向独山进攻。因警卫军军长向杨森哭述：该军新成立，官兵未经战斗，恐一与敌接触即四散溃逃，反影响前线士气。杨森于是将警卫军调离前线。只命二十军、二十六军于十二月六日协同会攻独山。日寇二千余人亦未坚持抵抗，稍一接触，即沿黔桂公路向广西金城江引退，独山遂告收复。盖日寇当时在亚洲和太平洋整个战局已处不利地位，其进犯独山，不过想把我军排远一点，而其主要目的，在于掩护它由桂柳直达镇南关的通道，以使其在印度支那与缅甸的占领军，必要时能进退自如；独山收复，重庆的南大门得到巩固。蒋对杨森深为嘉许，并任命为贵州省主席以示酬庸。