那时的官兵不但不能打仗，连乡下的土匪都不能对付，所以人民为自卫计，都办团练。这种团练就是民间的武力，是务正业的农民借以抵抗不务正业的游民土匪。这种武力，因为没有官场化，又因为与农民有切身利害的关系，保存了我国乡民固有的勇敢和诚实。曾国藩的事业就是利用这种乡勇，而加以组织训练，使它成为一支军队。这就是以后著名的湘军。团练是当时全国皆有的，并不是曾国藩独创的，但是为什么惟独湘军能成大事呢？原故就在于曾国藩所加的那点组织和训练。
曾国藩治兵的第一个特别是精神教育的注重。他自己十二分相信孔孟的遗教是我民族的至宝。洪秀全既然要废孔教，那洪秀全就是他的敌人，也就是全民族的敌人。他的“讨贼檄文”骂洪秀全最激烈的一点就在此：
举中国数千年礼义人伦，诗书典则，一旦扫地荡尽，此岂独我大清之变，乃开辟以来名教之奇变，我孔子、孟子之所痛哭于九原，凡读书识字者，又乌可袖手安坐，不思一为之所也？
他是孔孟的忠实信徒，他所选的官佐都是他的忠实同志，他是军队的主帅，同时也是兵士的导师。所以湘军是个有主义的军队。其实精神教育是曾国藩终身事业的基础，也是他在我国近代史上地位的特别之处。他的行政用人都首重主义。他觉得政治的改革必须先有精神的改革。前清末年的官吏，出自曾文正门下者，皆比较正派，足见其感化力之大。