在鹿寨境域成立的第一个中共党组织是中共榴江党小组。

鹿寨县于1951年由雒容县、中渡县、榴江县，以及修仁县第二区合并成立。此前的1938年11月，民国广西当局决定组建第三届广西学生军支援和配合部队作战，以抵御日寇入侵，保卫广西。广西学生军已于1936年、1937年各成立过一届，学生军以青年学生为主，实行军事化管理，分团、大队、中队，每个中队配步枪30支。中共广西省工委根据党的抗日民族统一战线和广西面临日寇入侵的危急形势，决定派党员并带动青年学生参加学生军，以掌握这支人数众多、有武装、又有合法旗号的青年抗日救亡团体。在两年多的时间里，中共地下党组织在学生军中发展了100多名党员，还培养了大批积极分子。象县青年李文达和陈伯西就是参加学生军后接受党组织的教育，成为思想进步的积极分子。1941年6月，民国广西当局追随国民党反动派掀起反共高潮，宣布解散学生军，后又从学生军中招收600人至合作事业训练班进行业务培训，准备留在民国广西省政府合作事业管理处和分配到各县从事合作事业工作。中共广西省工委认为这是一个可以合法利用的重要阵地，可以借此把学生军中的党员和积极分子播洒到全省各地。于是因势利导，安排了60多名党员和动员了一批积极分子参加该训练班。李文达和陈伯西按照党组织的安排，参加了广西合作事业训练班并继续接受党的培养教育，达到了共产党员的标准，经地下党员韦纯束介绍，2人加入了中国共产党。同年10月，李文达、陈伯西分配到民国榴江县政府合作指导室任合作指导员。经中共上级党组织批准，李文达、陈伯西2人组成中共榴江党小组，李文达任组长，党小组由李文达直接与中共柳州特支柳江核心小组胡习恒联系。

此前，中国共产党在抗日救亡宗教团体——汉口基督教女青年会战时服务团中建立的党支部曾于1939年8月、1940年7月两次到鹿寨境域活动。而榴江党小组，则是在鹿寨境内成立的第一个中共党组织。

榴江党小组根据当时的环境，主要工作是借合作指导室这一合法组织及其工作场地开展工作，公开建立学生军通讯处；以合作指导员身份，到基层群众中广交朋友；对工人、农民、学生、职员经济情况、抗日态度进行了解；按上级布置在群众中宣传党的抗日方针等。

由于在县政府大院不方便开展地下工作，李文达、陈伯西借口住房拥挤、生活不便，从县政府大院搬到邻街的廖家村。

当时的条件非常艰苦，在大院不便看进步书籍、报刊，只能带到村上找僻静处看，晚上挑灯夜读又怕引起别人注意，只能蒙在被子内，党小组要开个会也是乘着赶龙江四排圩开“赶圩会议”。

李文达在工作之余，以“洗虹”为笔名，经常发表文章，抨击时政。另外，广西学生军通讯处的成立并开展工作，邮件异常增多。这些都引起了国民党当局的猜疑和注意。

1942年桂林发生“7·9”事件，1943年柳州发生“1·15”《曙光报》事件，中共广西地下党组织遭到极大破坏。柳州等地形势异常紧张。民国榴江县政府也实行邮件检查，寄到榴江学生军通讯处的邮件有的遭到拆开，寄来的报纸也经常收不到。这些征兆，散发出不同寻常的火药味。

1943年5月20日下午，20多名国民党军警包围了只有6、7户人家的廖家村，以搜赌为名搜家。由于早有准备，国民党军警在李文达、陈伯西住处只搜到《三民主义》《总裁言论》《红楼梦》之类的书，便气悻悻离开了。

敌人的意图已很明显，李文达、陈伯西意识到搜赌是假，搜他们是真。

第二天，李文达、陈伯西经过研究，决定较为暴露的李文达马上撤退，陈伯西则继续留在榴江。第三天，李文达通过在四达小学当教师的地下党员韦纯束介绍，以当教师作掩护撤退到十锦小学。陈伯西则仍留在榴江工作到1944年秋日寇入侵广西时，才遵照党组织的指示撤退到象县。