刘牢之率军到溧州驻扎，参军刘裕请命，要求进攻桓玄，刘牢之不准。桓玄派刘牢之的堂舅何穆游说刘牢之道：“兔死狗烹，越国的文种、秦国的白起、汉朝的韩信都没有落下好下场。如果您能改变心意，支持桓玄将军，他可以确保您的荣华富贵。”刘牢之听从了何穆的劝告，与桓玄之间建立了联系。刘牢之的儿子刘敬宣、外甥何无忌和刘裕一起劝他讨伐桓玄，刘牢之不听，说道：“你们说的道理我都知道，消灭桓玄也易如反掌，问题是消灭了他之后，我怎么对付司马元显？”刘牢之派刘敬宣去投降桓玄，桓玄任命刘敬宣为咨议参军。
司马元显已经登上战船准备出发了，听说桓玄的军队已经到达新亭，便立即弃船，到宣阳门列阵。这时候，桓玄的先头敢死队已经到了城外，他们高声喊喝：“放下武器，饶尔等不死！”司马元显的属下本来就被吓破了胆。桓玄是谁？那可是桓温的儿子，老子英雄儿好汉！他们惧怕桓玄的名头，无心恋战，纷纷丢下武器逃窜。司马元显成了孤家寡人，骑马找他父亲司马道子去了，他的谋士张法顺还不错，没有抛弃他，在后面紧跟。司马道子这时候也是六神无主，父子两人抱头痛哭。