1948年夏，駐山東省國民黨軍由于連遭失敗，被迫退守濟南、青島等城市，以一部兵力守備津浦鐵路（濟南—徐州）中段各要點，支撐山東殘局。中共中央軍委指示山東兵團出擊津浦鐵路中段，由北向南逐步殲滅泰安至臨城（今薛城）各點守敵，進逼徐州，以孤立濟南，從戰(zhàn)略上徹底解決山東問題。并促進中原地區(qū)形勢的好轉(zhuǎn)。據(jù)此，山東兵團司令員許世友、政委譚震林針對國民黨軍第2“綏靖”區(qū)與第10“綏靖”區(qū)結(jié)合部兵力薄弱的弱點，決心以一部兵力配合地方武裝監(jiān)視濟南、青島等地國民黨軍，以主力首先攻占泰安及其南北地區(qū)，開辟戰(zhàn)場，切斷濟南和兗州的聯(lián)系，爾后圍攻兗州，吸引徐州國民黨軍北援予以殲滅。徹底控制津浦路徐州至濟南段，為解放濟南做最后的鋪墊。照許世友的話說，就是繼“橫掃膠濟路700里”后，再“橫掃津浦線700里”。
5月29日晚，山東兵團各部隊對津浦鐵路中段各要點發(fā)起攻勢。泰安國民黨守軍整編第84師第l55旅棄城北逃。至6月20日，山東兵團各部乘勝向泰安南北擴張戰(zhàn)果，先后攻占泰安、大汶口、曲阜和鄒縣等地。第7縱隊、魯中軍區(qū)部隊包圍兗州，至25日掃清外圍并攻占四關(guān)。國民黨軍陸軍總部徐州司令部為解兗州之圍，令整編第25師由徐州沿津浦鐵路北援，該師先頭部隊于28日進抵滕縣以北界河地區(qū)。山東兵團當(dāng)即調(diào)第9、第13縱隊由濟南附近南移打援；令第7縱隊視機撤圍兗州，準(zhǔn)備協(xié)同第9、第13縱隊打援。國民黨軍統(tǒng)帥部發(fā)覺山東兵團主力南移，且被華東野戰(zhàn)軍西線兵團圍困在豫東睢縣、杞縣地區(qū)的區(qū)壽年兵團求援甚急，遂將整編第25師車運商丘增援。山東兵團鑒于兗州國民黨軍處境孤立，乃決心攻取兗州。
兗州為津浦鐵路中段戰(zhàn)略要點。控制該城，南可威脅徐州，北可攻擊濟南。該城城郭堅崮，筑有半永久性防御工事，城西開闊，東依泗河，駐有國民黨軍第10“綏靖”區(qū)司令部、整編第12師及保安團隊共11個團2.8萬余人。山東兵團集中主力及地方武裝共45個團的兵力實施攻城打援。以第7縱隊井指揮第13縱隊及魯中軍區(qū)部隊擔(dān)任攻城；以第9縱隊集結(jié)于兗州以北，以魯南軍區(qū)部隊位于兗州以南準(zhǔn)備阻擊濟南和徐州援軍；以渤?？v隊位于濟南以東牽制濟南國民黨軍。
7月1日，山東兵團再次包圍兗州，第7、第13縱隊擔(dān)任主攻，由西向東，以老西門、新西門為重點，并肩實施突擊；魯中軍區(qū)部隊和第13縱隊一部位于城東北及城東擔(dān)任助攻。攻城部隊采取穩(wěn)扎穩(wěn)打的戰(zhàn)法，先以一部兵力掃清外圍。至7日，肅清了兩關(guān)守軍，并開始近迫作業(yè)。12日17時發(fā)起總攻，先以各種火炮進行火力準(zhǔn)備，壓制守軍火力，摧毀老西門、新西門城墻及縱深工事；山炮抵近射擊，打開突破口；步兵在炮火掩護下實施連續(xù)爆破，連續(xù)突擊。至20時30分多路突破城垣，爾后多次擊退守軍反撲，迅速向縱深發(fā)展。守軍見大勢已去，倉皇向東突圍。經(jīng)1晝夜激戰(zhàn)，山東兵團于13日18時攻克兗州，將城內(nèi)守軍及突圍的部隊全部殲滅，俘整編第12軍軍長兼整編第12師師長霍守義。
當(dāng)兗州再度破圍時，濟南國民黨軍整編第84、第2師于7月1日南援，但懼怕被殲，行動遲緩。當(dāng)其先頭部隊13日渡過渡河進至太平鎮(zhèn)地區(qū)時，得悉兗州已失，星夜北逃。至18日，第9縱隊追殲其后尾整編第84師第161旅等部約萬人。
