大歷十一年（776年）八月，都虞侯李靈曜在汴州（今河南開封）叛亂，他殺死兵馬使、濮州刺史孟鑒，并勾結(jié)外部勢(shì)力田承嗣，企圖控制汴州、宋州。

    九月，朝廷詔命淮西、永平、河陽三城、淮南、淄青五鎮(zhèn)出兵討伐李靈曜。

    永平節(jié)度使李勉令劉玄佐率領(lǐng)永平軍主力前去平叛，劉玄佐進(jìn)兵神速，他趁李靈曜身在汴州并無防備，偷襲宋州（治宋城，今河南商丘）得手。

    至此，李靈曜所控制的汴宋二州已失其一。李靈曜連戰(zhàn)失利。十月，即被諸鎮(zhèn)兵圍困于汴州城內(nèi)。

    外部勢(shì)力田承嗣見李靈曜危在旦夕，即派田悅率兵火速救援。田悅率兵南下，于劉玄佐老家匡城擊敗永平、淄青兩鎮(zhèn)兵，并乘勝向汴州挺進(jìn)。

    不料在汴州城北安營后，夜間遭淮西裨將李重倩率輕騎數(shù)百襲擊，大殺一陣，營內(nèi)惶恐不安，此時(shí)劉玄佐率永平軍趕到，與淮西節(jié)度使李忠臣、河陽三城使馬燧合兵一處乘機(jī)進(jìn)攻，田悅軍不戰(zhàn)而潰，損失慘重。

    李靈曜絕望無救，連夜出逃，逃跑中被俘，被送往京師處斬。次年，也就是大歷十二年（777年）朝廷將宋州隸屬于永平軍轄下，經(jīng)李勉奏請(qǐng)，授劉玄佐為宋州刺史。

    唐德宗建中二年（781年），劉玄佐又被加封為御史中丞、宋亳潁節(jié)度使、宣武節(jié)度使，建號(hào)宣武軍。

    同年，平盧節(jié)度使李正己死后，其子李納匿喪謀叛，而其族人李洧以徐州（治彭城，今江蘇徐州市）歸順朝廷，李納遣兵圍之。

    朝廷下詔，令劉玄佐等諸軍援救李洧。十一月，劉玄佐與神策都知兵馬使曲環(huán)、滑州刺史李澄及朔方大將唐朝臣共同援救徐州，大破魏博、平盧軍，斬首八千級(jí)，迫使其解圍逃竄，江淮漕運(yùn)開始疏通。

    劉玄佐因功被加為御史大夫。此后，劉洽又克復(fù)濮州，收降敵將楊令暉；分兵攻略濮陽，招降守將高彥昭，打通了濮陽渡口。

    朝廷再次論功，加劉玄佐為檢校兵部尚書兼曹濮觀察使，加食邑四百戶，旋即加授淄青兗鄆招討使及汴滑都統(tǒng)副使之銜。

    劉玄佐在屢立戰(zhàn)功，平步青云之后，仍然能保持清醒的頭腦，亦能知錯(cuò)就改。

    他在鎮(zhèn)守汴州時(shí)，聽信讒言要?dú)④姷孕泄В笥覠o人敢上前勸諫。處士（沒有任官職的讀書人）鄭涉為人詼諧，善用隱語，他求見玄佐，說：“聽說翟行恭得罪了大人，大人借機(jī)想殺他抵罪，希望大人能答應(yīng)我一個(gè)小小的請(qǐng)求，翟行恭行刑后，讓在下看看他的尸體。”劉玄佐覺得奇怪，鄭涉說

    “我曾聽人說受冤而死的人，臉上表情和普通死人不同，我平生從未見過，所以想見識(shí)見識(shí)?！眲⑿纛D悟，查明真相后赦免了翟行恭。

    ，