九月，谢玄派刘牢之进攻前秦兖州刺史张崇。张崇也是闻风丧胆，当即弃城而逃。
于是，谢玄收复了兖州。
这时的谢玄和北府兵已经是名震天下，那些留在北方的汉族百姓们，当时不是都举族举村地躲在坞堡里吗，这一回，这些老百姓听说谢玄都打到兖州了，一下儿就都从坞堡里跑出来了，纷纷赶来迎接大晋的军队。大家这个激动呀，我们可算等到这一天啦。结果，北府兵所到之处，黄河南岸所有的坞堡，全都跑来投诚。这样，东晋与前秦“划淮河为界”的日子，也一去不复返了。
（二）收复青州：
兖州已经收复，谢玄一看这季节，现在已经是十月了，天气要是一冷，这运粮的水路可就成问题了。于是经过一番筹划，他就采用了督护闻人奭的计谋，以最快的速度修建了一个“水利工程”，后来人们就把它叫做“青州派”。他是怎么做的呢？就是引来吕梁的水，把两条河的水量汇到一起来，这样，即便天冷水势不足的时候，这条河也一样能行船运输。自从有了这个“工程”，无论是打仗运粮，还是老百姓们生活，都方便了许多啊。
解决完这个后顾之忧，谢玄毫不耽搁，立即起兵，就向青州进军了。
十月，谢玄派遣淮陵太守高素进攻