第二次世界大战时，罗马尼亚排出了第三和第四集团军参加东线作战，加入德国南方集团军群随行军越过边境。不过大多时候是充当跑龙套的角色。而在1941年夏秋之际敖德萨战役中，罗马尼亚军队充当了轴心国一方的进攻主力。这次战役成为罗军战史上最“辉煌”的一页，也是在没有德军的援助下，德国盟友所攻陷的唯一一座苏联城市。
1940年，罗马尼亚右翼将领安东尼斯库元帅发动政变，建立了独裁政权。安东尼斯库本人对苏联极为仇视，总希望借助外力吞并苏联国土以自肥，因此很快就加入了轴心国阵营。1941年5月，安东尼斯库在巴伐利亚山区的乡间别墅有幸见到了希特勒，后者向他透露了德国将向苏联发动进攻的消息，同时提出让罗马尼亚派兵出战，作为报答，希特勒答应罗马尼亚吞并苏联第聂伯河以西的土地。
受到鼓舞的安东尼斯库当即表示愿意与德军一道进攻苏联。经过秘密而又紧急的动员，罗马尼亚先后派遣22个师协同德军作战，在兵力上比其他仆从国如匈牙利、保加利亚，甚至比三国轴心之一的意大利还多。苏德战争初期的敖德萨战役就是以罗军为主进行的一次攻坚战，它是罗马尼亚军队在东线发动的最强的一次进攻。
1941年7月27日，希特勒授予安东尼斯库陆军元帅军衔，并要求罗马尼亚军队在德军支援下攻占苏联黑海港口城市敖德萨，切断苏联通过敖德萨从黑海向乌克兰输送兵力和物资的渠道，同时也方便德军抽出兵力进犯苏联腹地。
8月3日，罗军第4集团军在司令尼古拉伊·索皮卡中将指挥下横渡德涅斯特河。罗军计划兵分两路，左翼第3集群(辖罗军第1、第3、第7步兵师和第2坦克团)负责正面强攻敖德萨，右翼第5集群(辖罗军第15步兵师、第1装甲师和第1骑兵旅)负责由敖德萨以南发起侧攻。
苏联方面，由于形势严峻，苏军大本营下令组建敖德萨防区，统辖红军独立滨海集团军、黑海舰队敖德萨基地和民兵部队，围绕敖德萨市区修筑了由战壕、碉堡和反坦克炮阵地组成的三道防线。外围防线距市区25-30公里，全长80公里；中层防线距市区6-8公里，全长30公里；最后的防线即敖德萨市区。苏军投入防御兵力为第25和第95步兵师、第9骑兵师、第421海军步兵旅(由黑海舰队水兵组成)、第54步兵团及1个内务团，总共3.5万人，配以240门火炮和111架飞机。
罗军于8日发起总攻。14日，罗军第1骑兵旅突破外围防线，孤军深入至亚历山德罗夫卡镇，原地转入防御，等待后续跟进的罗军第1装甲师。下午，随着远处传来隆隆的螺旋桨声，很快天空中出现了数架被喻为“黑色死神”的苏军“伊尔-2”强击机。它们喷吐着火舌扑向地面，一排排弹雨过后，罗军人仰马翻，一些受伤后倒地的战马苦苦挣扎，发出声嘶力竭的哀嚎。
空袭刚过，四面八方就涌出难以计数的苏军士兵，他们口中高喊着“乌拉！”潮水般扑向罗军。双方随即展开了一场中世纪般的搏杀：罗军骑兵抽出锋利的马刀，策马出击；苏军步兵排着整齐的队列，步枪上好了雪亮的刺刀，杀向罗军骑兵。一时间，小镇里杀声震天。战至下午，罗军第1装甲师赶到，罗军才挡住苏军的反击。
随后几天，罗军不断进攻，不久占领了敖德萨城外的蓄水池，切断了市内水源，使敖德萨军民只能依靠海运的淡水维持生命。
18日黎明，罗军2个步兵团以1个坦克团为先导向敖德萨外围防线的米哈伊洛夫卡镇发起进攻。罗军坦克刚刚前进不久，对面阵地上就闪起一道道光晕，苏军密集的反坦克炮火像雨点般袭来。转眼间罗军20余辆捷克制35(t)轻型坦克便被接连命中，坦克团团长当即毙命。失去坦克支援的2个罗军步兵团仍然拼死冲锋，杀进镇里，战斗异常惨烈，包括2个团长在内的半数罗军军官阵亡。当日夜，罗军终于彻底控制该镇。
24日，罗军全面突破了苏军外围防线，敖德萨市区已进入罗军重炮射程之内。28日晨，随着隆隆炮声，罗军打响了对苏军中层防线的进攻战。苏军顽强抵抗，敖德萨市内，拖拉机厂工人配合苏军为拖拉机安装45毫米反坦克炮，改装成简易坦克投入战斗；战场上，苏军反坦克炮手，面对驶近的罗军坦克，无一后撤，连续开炮直至战死炮位。
13日，为打破僵局，罗军集中了两个师再度发起强攻，突然遭遇大量苏军抵抗，全天仅推进300米，打头阵的一个步兵师伤亡巨大，不得不撤出战斗，由其他部队顶替。后据情报显示，原来苏军刚从黑海将1个步兵师约12600人运抵敖德萨防线。
罗军很快组织对敖德萨港口的大规模空袭阻止苏军的补给和增援。15日、16日，德国空军和罗马尼亚空军联合出动了9个轰炸机大队对敖德萨港口展开轰炸。罗军轰炸机低空接近，使善于对付高空目标但射速慢的苏军重型高炮难以发挥优势。空袭给苏联海军运输补给舰队致命打击，击沉苏军驱逐舰、炮艇、拖船、运输舰各1艘，击伤多艘，使苏军在敖德萨的海上支援一度中断。
9月21日，罗军终于突破了苏军中层防线，罗军第7骑兵旅一部突入了敖德萨东部市区，跟进的罗军炮兵立即对敖德萨港口进行封锁射击，致使苏联海军运送补给的舰只无法出入港口。
被逼上绝路的苏军在9月22日发动了整个战役中规模最大的一次反击，出动了驻防市内的2个步兵师，并从海上登陆1个团的海军陆战队进行配合。进攻发起前，苏军在罗军第7骑兵旅后方空降了一个小分队，他们袭击了一个罗军团指挥部，并四处活动，造成大部队空降的假象。罗军一时惊慌失措，竟然主动后撤了6公里。
苏军短暂的胜利只换回了不到10天的平静。罗军很快重新集结力量在部分德军配合下，扫清了市区外围的防御工事，左右翼集群合成了一个包围圈，并逐渐压缩，不少部队攻入市区，罗军的炮火开始日夜不停地轰击敖德萨市区的每寸土地。
10月12日，罗军拼凑了所有兵力，向敖德萨市区内苏军发起了最后的总攻。市区内苏联红军余部在市民的支持下，与侵略者进行了最后的战斗。每一栋建筑、每一间屋子都成了残酷的战场。
又经历了几天激烈的战斗后，还在苏军手中的只剩下了敖德萨港口。16日，随着港口外最后一艘苏军驱逐舰驶离，防守苏军失去了最后的炮火掩护，但仅剩的一个排的苏军仍在一个港口要塞里阻击着罗军。这些敖德萨最后的保卫者为苏维埃祖国尽完了最后的义务，下午4点，在重炮的轰击下，要塞被彻底摧毁。当夜，罗军攻陷整个敖德萨市。
从1941年8月8日至10月16日的敖德萨战役最后以罗军的胜利告终。德军借此切断了苏军从黑海通向乌克兰的运输线，并顺利地控制了整个乌克兰。
罗马尼亚军队在这次战役中付出了惨重的代价，伤亡8.1万人(其中17729人阵亡)，失踪11471人(多数被俘)。苏军在敖德萨战役中伤亡4.1万(其中阵亡16578人)。
此后，罗马尼亚的第三集团军被配属给德国的第11集团军指挥，跟着曼施坦因去攻打克里米亚，终因曼帅对罗马尼亚军队的战斗力不放心又被调了回来；1942年，第三和第四集团军被调到斯大林格勒外围，负责保卫第六集团军侧翼，在苏军的强大反攻下，罗马尼亚人溃不成军，近乎全军覆灭，在相当程度上导致了德军的最终失败。
至此，罗马尼亚军队在南线战场更多的是以打酱油的成分存在。退回罗马尼亚后，在雅西战役中来了次大崩溃，让德国人叫苦不迭
而罗马尼亚国内，民众对自己的军队在战争中遭受重大损失，则是怨声载道，反对安东尼斯库独裁统治的呼声日趋高涨。1944年8月，转入反攻的苏联红军重兵进抵罗马尼亚东北部，罗马尼亚共产党人趁机领导武装起义，推翻了安东尼斯库政权，罗马尼亚转而加入了反法西斯阵营，罗军的倒戈也加速了德国法西斯的灭亡。