谢玄授刘牢之为参军，命他领精锐为前锋，百战百胜，号称北府兵，前秦对其颇为畏惧。

太元三年前秦皇帝苻坚派军围困襄阳，车骑将军桓冲率部抗击。

朝廷下诏命令谢玄征发三州民夫兵丁，并派彭城内史何谦率军在淮水、泗水一带游弋，让他们构成援助襄阳的态势。

次年，襄阳陷落，苻坚的部将彭超向驻军彭城的龙骧将军戴逯发动进攻。

谢玄率领东莞太守高衡、后军将军何谦驻扎在泗口，想要偷偷地派遣使者告诉戴逯，让他知道救兵到了，却找不到前往的途径。

小将田泓请命前往，于是他就潜在水中偷偷地过去，快要到城下时，不幸被敌军抓获。

敌军用丰厚的赏赐收买田泓，让他对彭城守军说南来的援军已被打垮了。

田泓假装答应。但到了城下时，却大声告诉城中说南来的援军很快就要到了，我一个人前来报信，被敌人抓住，诸位一定要努力坚守啊！

彭超将辎重放置于留城，谢玄于是扬声要派遣何谦等进军留城，彭超听闻后，率军返回留城保护辎重。

何谦迅速率军前进，解彭城之围。彭超又进军南侵，苻坚的将领句难、毛当从襄阳率军前来与其会合。

朝廷下诏命谢玄的叔父、征虏将军谢石率水军往涂中，右卫将军毛安之、游击将军王昙之、淮南太守杨广、宣城内史丘准往堂邑。

不久，盱眙城失陷，高密内史毛藻战死，毛安之等人惊恐，各自退军，朝廷为之震动。

谢玄从广陵往西讨伐句难等，何谦率军击败敌军，为田洛解围。他随后进据白马，大破前秦军，斩其将都颜。

趁势进击，再次将其击破，斩其将邵保，彭超、句难率军引退。

谢玄率何谦、戴逯、田洛追击，在君川与其展开战斗，再次大破其军。

参军刘牢之攻破浮桥和白船，督护诸葛侃、单父县令李都又攻破其运输船，句难等各自溃散，仅以身免。

朝廷得讯后，派殿中将军慰劳谢玄，为其进号冠军将军，加领徐州刺史，还屯广陵，以功封东兴县侯。

太元八年，苻坚亲自率军驻扎项城，号称雄兵百万，前秦凉州之军抵达咸阳，向南顺流，幽并二州的军队也接连而至。

苻坚先遣苻融、慕容暐、张蚝、苻方等人至颍口，梁成、王显等屯驻洛涧。

晋孝武帝下诏命令谢玄为先锋，统领徐州、兖州、青州以及扬州之晋陵、幽州之燕国各支军队。

谢石、他的从弟辅国将军谢琰、西中郎将桓伊、龙骧将军檀玄、建威将军戴熙、扬武将军陶隐等抗击，共有八万人。

谢玄先派遣广陵相刘牢之率五千人奔袭洛涧，首战告捷，很快就杀了梁成和其弟梁云，敌人的步骑兵同时崩溃，争着渡过淮水逃跑。

刘牢之派兵追击，活捉敌将梁他、王显、梁悌、慕容屈氏等，获取其军用物资。