土地革命時期，全國只有陜北革命根據地的創建是從下到上，先建立各級黨團及群眾組織，在此基礎上創建紅軍游擊隊，建立根據地，最后成立正規紅軍。先建立村、鄉、區、縣各級蘇維埃政權，最后成立陜北省蘇維埃政府。馬文瑞在里面做出了重要的貢獻。

1927年7月，陜北軍閥井岳秀追隨蔣介石開始“清共”，馬文瑞被迫從綏德四師回到周家崄高小，在他和共產黨員劉景向的秘密活動下，周家崄高小的黨、團組織非但沒有解散、癱瘓，而且發展了一批黨、團員，力量反而加強了。1928年“中秋節事件”，陜北特委機關被敵人發現并占領，馬文瑞只身闖龍潭虎穴，安全轉移特委文件，避免了遭受更大的損失。

1928年8月，他擔任共青團綏德縣西區區委書記，把那些政治覺悟太低、喪失對敵斗爭信心的團員清理出去，培養、吸收了一批優秀青年農民加入組織。在沒有上級組織領導的情況下，把綏德西區的團組織鞏固和發展起來，引起中共綏德縣委書記白明善的重視。同年轉黨，任綏德縣委常委兼共青團縣委書記，綏德農村的黨、團組織得到健全和較大發展，團員達三四百人，在校學生里還有一批少先隊員和兒童團。他還到綏德西川一帶的石匠、窮苦鹽工和炭工中訪貧問苦，秘密發展黨、團員，成立了黨、團組織和千余煤炭工和鹽工參加的手工業聯合會，陜北開始有了工人出身的黨、團員。

1930年秋，任中共安定縣北區“行動委員會主任”的馬文瑞，消極抵制立三“左傾”盲動錯誤，扎扎實實地在農村開展積蓄革命力量的基礎工作。在立三“左傾”錯誤給各地黨、團組織和骨干分子帶來嚴重損失和站不住腳的情況下，安定北區的黨、團組織和各外圍組織卻完好無損。

1931年初，糾正立三左傾錯誤，馬文瑞任陜北特委委員兼安定縣委書記。同年秋，馬文瑞任團特委書記，暫留安定繼續擔任縣委書記。他清除了一些政治上不堅定，甚至動搖變節分子。同時秘密發展組織，爭取群眾。到年底，全縣除南區蟠龍一帶因靠近瓦窯堡敵占中心沒有黨、團組織外，其余4個區委和12個黨支部，都有新的發展和提高，黨、團員達120多名。

1932年初，他回到特委，被任命為特委的南路特派員，負責清澗、延川、安定、延長、延安等地黨的工作，巡視了清澗、安定、橫山、榆林、葭縣、吳堡等地。由于立三主義錯誤的危害，陜北各縣黨組織都受到不同程度的破壞，延長、延安兩縣黨組織遭敵人破壞后，同特委完全失去了聯系。他艱苦奔波，先后與延長、延川、綏德等縣的黨、團組織聯絡上，恢復了關系。到特委工作以后，他除了繼續做部分巡視工作外，更多的是協助特委代書記馬明方主持陜北特委的日常工作。經過他和眾多革命中堅分子艱苦卓絕的工作，黨的組織經過一段停滯狀態，又逐漸開始恢復與發展，23個縣中，21個有了黨、團組織，延安北部各縣黨的組織穩步發展，有支部81個，黨員765人，貧雇農黨員占到黨員總數的80%以上，革命活動迅速在農村深入發展。