"传闻足下至今尚单身一人，要等功成名就后再立室，志气虽可嘉，但窃觉得不必如此刚强。前人说，不孝有三，无后为大。不娶妻生子，怎能慰老母之心？且此后参军兵戈，兵凶战危，存亡难以逆料，更不能没有子嗣。望足下听某一言，在雄师分开衡州之前，必然立室。"国藩叫亲兵抬来一盒银子，指着盒子说，"军中饷银匮缺，又乏珍稀，这八百两银子不是聘足下之礼，只是作为足下的安家之费。待得足下立室以后，海军练习好了，再浮江北下，为朝廷分忧。"彭玉麟既不能拂逆曾国藩的这番美意，也不能不接管这份厚赠，只得恭敬从命。
从那次王衙坪返来，曾国藩又派人把王世全接到桑园街住了一天。王世全把彭玉麟的环境详详细细地奉告曾国藩。当然，王世全不晓得彭玉麟至今单身的真正启事，而曾国藩却更佩服玉麟"匈奴未灭，无以家为"的志气，以为是当今少有的奇男人。他对世全说："一旦彭玉麟到了你家，你就派人奉告我，我要亲到贵府去拜访他。"刚巧这时上月派往江西体味军情的郭嵩焘，从江西带着江忠源的信，来到了衡州桑园街。江忠源鉴于承平军海军的强大，力劝曾国藩在衡州练习海军，并承诺向朝廷上奏。郭嵩焘也把在火线所看到的承平军炮船，在江上来往如飞的威风奉告曾国藩。曾国藩愈想早一点见到彭玉麟。
彭玉麟第二天就搬进桑园街赵家祠堂。曾国藩想起杨载福在洞庭湖上的出色演出，感觉杨载福实在是个可贵的海军军官，便向彭玉麟先容了杨载福。二人相见，甚是欢洽。前些日子，曾国藩从长沙请来永泰金号老板黄冕到衡州。黄冕曾在江苏一带任过量年知府，见过很多炮船，观察过江苏水营，对办海军有经历。又调来在广西管带过水营的候补同知褚汝航。杨、黄、褚三人和彭玉麟一起参议海军的筹建。先定在石鼓嘴下的青草桥边建一大造船厂，广招各方木工，尽力造船。为相互辨认和壮阵容，彭玉麟还为新筹建的海军第一营设想了各色旗号。
曾国藩对彭玉麟说："早就满足下深通周瑜海军战法，是国度栋梁之材。国藩欲请足下先筹建海军第一营，待足下将此修建好后，拟以此营为表率，再多建几营海军。""玉麟实在只是一个墨客，虽读过周公瑾的海军法，但毕竟是纸上谈兵。大人将这副重担交给我，玉麟如临深履薄，深恐今后折足覆餗。""足下不必谦逊。国藩深知兄台机灵英勇。道光末年，亲擒反贼李沅发，实儒林中少见之豪杰。""厥后衡州协为雪琴请功，总督裕泰公觉得擒李沅发者必为武人，因而拔雪琴为临武营外委，赏蓝翎。雪琴一笑置之，竟不受赏，辞归渣江。"世全笑道。
常言道，插起招军旗，自有吃粮人。衡州、衡山、祁阳一带向来多船民。这些船民，并不打渔，而是靠长途运货为生。自从承平军这一两年在湘江、洞庭湖一带扑灭烽火以来，长途贩运的船民的生存遭到很大影响，很多人只得改行另餬口路，但大部分既无田，又没有别的技术，糊口很困难。得知曾国藩在衡州招水勇，连个橹工的饷银都能够赡养一个四口之家，因而这一带赋闲的船民接踵而来。短短十天，前来当兵的便有二三千，大大超越一个营的体例。曾国藩决定从中挑出一千五百人，同时建三个营。任命彭玉麟为第一营哨官，杨载福为第二营哨官，褚汝航为第三营哨官。