也有人觉得，火炮的威力没有传说般大，也没想象的那么密集。但大伙都是没有军饷的新附军，实在没有卖命的必要。有了借口，跑起来反而心安理得了。
谣言的传播，永远比人的脚步快。两浙各地大乱，百姓纷纷北逃。蒙古人南下之初，下令两浙各地投降城市，必须将城墙自行拆除。此时两浙兵马皆被范文虎调走，诸城无力自保。一些当地官员与豪门悄悄地遣人联络张唐，为自己和家族寻找退路。
五月二十八日晨，略做修整的破虏军兵临湖州城下，城中士兵大部分已经丧于天目山下，守将钱守仁选择了投降，唯一要求是，要求破虏军将他的全家带走。
张唐答应了这个请求，入城，把北元派来的色目仓库使斩首。开仓放粮，将金银细软和粮食，全部分给了湖州百姓。湖州周围几波前来助战的山贼，也分到了不少粮草武器，跟在破虏军身后，呐喊助威。
六月初，钱守仁从钱塘登船出海，不知去向。临安大户朱万年见守军兵少，试图叛乱，为北元杀人立功。事败，全家三百多口被守将方胜处死。家产被散，地契被烧，房屋被拆成白地。
六月三日，破虏军兵临嘉兴，张唐麾下，除了同来的破虏军将士，还多了三万附近的山贼、义勇。他以宋军不入城为条件，劝降了嘉兴守将胡良佐。克嘉兴，散府库，然后弃城而去。南下海盐，把浦东、青村、袁部等北元盐场劫掠一空，食盐全部分发给了百姓和义军，当地百姓欢声雷动。