李鸿章从曾国藩那里争取到主帅之职，这并不稀奇。他本来就是曾国藩谋划此事的主要助手，顺水推舟即可遂愿。但令人惊奇的是，他像变戏法似的一下子变出一支淮军来。
当时，从合肥一带招幕的淮军新兵在同治元年（1862）一月十五日以后才陆续赶到安庆，二十四日建旗立营，一个月零十二天后即登轮开拔。但即使这样，朝廷还嫌太慢，气得李鸿章大叫：“不是可以咄嗟办好的！”看看这批半像土匪、半像痞子的褴褛之众，看着他们又傻又惊地在安庆城外逛街，真叫湘军老兵好笑好气；土得叫人倒胃口的乡巴佬也能打仗？曾国藩也满腹狐疑，并深以为忧地说，“淮军纪律未娴、战阵未熟，恐怕不能够满足吴人云霓之望。”曾对该军有“不整不严”之评。
但出人意料的是，这支军队不经训练即可投入战斗。观察者只注意其外表，却未注意其内在。他们绝大部分是久经沙场的老兵油子，是淮河平原上与太平军、捻军步骑精锐长年死缠蛮搅打拉锯战的角色，是团练中的佼佼者。李比曾更了解他们。他们的土是土豪土顽的土，他们的野是野蛮野兽的野，他们在狠命杀伤对手、精心保存自己的土兵素质上，并不亚于湘军，李称他们“勇烈冠时”。他们大部分来自合肥西乡，那里是淮军属下铭军、盛军、树军、鼎军的故乡，其好战好劫之性令人吃惊，当太平军来时，他们齐攻太平军，当太平军走后，各部自相残杀。以周盛传为例，在淮军建军前他率部已作战296次，死伤数千，他兄弟六人死去四人。李后来感叹说：在上海招募这样的兵太难，他们比半是大烟鬼、半是可怜虫的上海清军要强得多。曾国藩说他们“野气未除”，其实正是其长；李鸿章对此甚为得意：“敝部淮勇能战而多土气。”
他们中间也有豪杰人物，后来涌现出一批海内驰名的淮军名将。他们使李鸿章青史留名，李鸿章也使他们留名青史。李鸿章就曾喜不自胜地说：“合肥的英俊多数跟随我。”其中有他称之为才识品行为合肥“后进之冠”、曾国藩称之为“皖北人才”的新科进士刘秉璋；有从小与刘秉璋一块偷了家里东西去北京游玩，以随机应变、善战好谋闻名的亡命之徒举人潘鼎新；有一个以勇著称、另一个以谋见长的张树珊、张树声兄弟；有外貌白皙清秀、气度不凡的吴长庆。还有刘铭传——浑号六麻子，十八岁就杀了一个欺负他父亲的大土豪，长得短小精悍，好色爱酒，惯贩私盐，打起仗来骁勇异常。
其实，李鸿章要把合肥团兵都请来是不可能的，一开始召之即来的人数并不多，只是到后来才陆陆续续多起来，并越来越服膺这个同乡。起始之际，有的答应去而未成行，有的走到半路或到了安庆又恋乡回返。李鸿章急中生智的应急法是“乞”，即向湘军各部乞兵乞将。但此事并不轻松，湘军诸老曾像打发要饭的乞丐那样不肯让出自己的人马。李则活赛老牛筋，死缠硬磨，并几百几百地了讨到一批批老兵。李带到上海的兵将五千五百人中，他自称湘军占二千，若仔细核实的话或许更多；稍后增至十三营，内有八营从湘军调来，故上海人叫它们为湘军，史家记之为“淮军初起半楚勇”。李的本事在于化湘军为淮军，而这支军队不久便统统变成了他的淮军。
像洋务奇才郭嵩焘，被公认是难以延请者，李能使他屈就苏松粮道之职，并专门放一艘轮船去接这位怪人来沪。李鸿章所以特别推崇郭嵩焘，除了他俩是丁未科同年、政治见解相似外，还由于郭嵩焘能够起到密切曾、李关系的作用。曾国藩与郭嵩焘既是亲密朋友，又是儿女姻亲，曾国藩四女纪纯许配给郭的长子刚基。郭嵩焘起初不愿屈就丁未同年的司道属员，后经李鸿章的恳切请求、曾国荃的再三劝驾，才赴沪接任苏松粮道。按清制，郭嵩焘不能在儿女姻亲曾国藩两江总督辖区任职，例应回避。同治元年（1862）十月李鸿章以江苏军务正殷、需才孔亟为由，奏准郭嵩焘勿庸回避，即以苏松粮道襄办军务。随后又函告曾国藩：“筠仙到沪后，众望交孚，其才识远过凡庸，运、藩二篆均可见委，惟至亲避嫌，鸿章以襄办营务入告，似尚大方。拟仍令兼管捐厘总局，以资历练。”不到半年，李鸿章就函请曾国藩奏保郭嵩焘为两淮盐运使，还拟荐举他兼任江苏按察使。来沪前，李一眼看出二十五岁的落魄书生周馥才识宏远、沈毅有为，能胜巨任，立即聘请这位年青的失意者入幕办文案，参与机要。果然，周馥后来成为李的重要助手，四十年如一日，李辞世之日，周馥还为他送终。周馥语及自己穷途遇到李赏识之事，把李比作周公：吐握余风久不传，穷途何意得公怜！李对其收揽的人才确含浓重的感情色彩。幕客陈琦在上海病死，李对其家属十余口照顾甚周。从曾国藩处借来的爱将韩正国战死，李表现出的情绪是朝夕悲怆，给部下留下了深刻印象。
最令史家吃惊的是程学启之例。程为李手下第一员大将，淮军早期以程战功最著，在程被太平军击毙前，淮军中没有人能越过他坐在李之下的第二把交椅。这个矮个子的文盲将军原是太平军将领，李邀他同去上海创业时，程心情压抑，初时不肯答应，但李的三寸不烂之舌勾起他的辛酸与野心后，他突然悟彻道：“宁为鸡口，不为牛后。上海固然是死地，然今朝湘军门户之见特别严，大丈夫仰人鼻息还不如一死。”程遂抱必死之心赴沪。说起死，程在投降湘军时就曾想到过自杀。当叛徒的日子难熬，曾国荃曾叫程率归顺的太平军在壁垒深沟外筑营，叫程部首当其冲地拼命作战。送军米时用大木头在吊桥上推出来，推毕收起吊桥与大木头；曾国荃总怕他反叛，认为只有把程杀了，才能一劳永逸地免去麻烦。程虽幸免一死，却免不了受排挤。程为曾家拚死卖命，陷安庆时首先占据最险要的关隘，首先登上城墙，打开城门，可功高赏薄，只升到参将，皆因曾家嫌他出身不光彩。但李鸿章却对他很赏识，便趁机与程拉同乡关系，并对他说：“湖南人鸡犬升天，客籍人颇难出头。”一席话就把程拉了过来。至于程顶着降将的帽子，李又巧言为他解忧：“江南人爱降将张国梁，你要去，又是一个张国梁！”
程学启遂改换了门庭，上海、苏南成为他用武之地。到该年末，清方官将都承认：就军事才能而言，程应占湘淮两军的魁首。他的恩主李鸿章也对自己的伯乐之识极为自矜，是他把像叫化子一样在湘军中讨饭吃的程学启提拔上来，并一鸣惊人的。李称程多谋善战，用兵如神；称程“冠绝诸军”，“为十余年来罕见之将”；称程统率的原是太平军的开字营兵丁，精悍而有纪律。郭嵩焘对湘军将领一向颇多微词，但他亲睹程部战阵并与程交往后也甚赞其人，赞叹程部每战屹如山立的军容。郭曾在上海与程论兵，称后者“尤有卓见”，并在日记里写道：“（程）刚厉有威严，淡于嗜欲，行军整肃，有古名将风，足为湘淮诸军之冠。”上海人说程“有战必捷”，显有夸大，但善战是肯定的。
程学启于同治三年（1864）年三月十一日死于破伤风。其间淮军的硬仗几乎均由他唱大轴。李在沪甚爱同他叙谈，认为：“同程学启论兵事，总有进步与得益。”而当程的噩耗传来时，李曾大呼：“左臂膀断了！”而曾家兄弟在对待程学启一事上，早就感到懊悔了，曾国藩就曾说：“部下诸将没有一个比得上他。”因而从同治元年（1862）八月起，曾氏兄弟就一再向李鸿章讨程学启回湘军，但李鸿章却以“这是明公的恩赐……感谢我公为国储材”，“明公赠将予我，我不能完壁归还明公了。”以此婉拒。
李鸿章对程学启的宠信，表明李不仅对安徽老乡能一视同仁，进而对当过太平军的、历来受歧视的人也能施以恩惠。李的集团由此壮大起来。李虽然对太平军痛恨切齿，杀起太平军来不比曾国藩手软，但他敢用降将降兵，起到了意想不到的效果。进军上海和苏南的太平军将领中安徽人占一半，其中不少人后来都被李拉了过去。
李鸿章在上海搭班子拉圈子时，其待人之宽厚之举也确实令部下心折。李不重门户、不重出身。在他的淮系核心分子二十六人中，只有五个人是有功名的。而且李鸿章对其下属百般庇护，给官、给权、给钱，使其部下有恃无恐，形同放纵。一次，刘铭传部兵丁把奉贤县令杨溥殴毙了，当曾国藩责问此事时，李回答道：对部下“鸿章从不稍假词色”。而刘秉璋鞭笞道员，道员对李言之：“大清二百余年，无鞭挞道员之理”时，李却强词夺理地说：“身在军中，当从军法。”李甚至还公言，对部下“一切小过，悉宽纵勿问”；闯大祸，“其咎与怨，皆鸿章一人承担”。李还在行辕内布置一淮北家乡土炕，常与部将在炕上拉家常。上海人都晓得，李对安徽人“乡谊最厚”。直到晚年，只要乡人来求他，总能得到点好处。与曾国藩的“驭下须严”相比，做李的部将无疑要舒服些。
这支从故乡、从湘军那儿“乞讨”来的军队，这批骄横的将领，李鸿章都能控制得住吗？应当说，李基本上羁魔有术，稳坐主公交椅，无人可取而代之。李早在十几年前就结识了好多淮上好汉，在那时与刘秉璋已结为师弟关系。刘秉璋曾拜潘鼎新之父潘小安为师，李顺藤一拉就拉到一帮子人。在李家父子办团练时，李鸿章得以广交乡勇豪杰，即使他在多年潦倒中，也不忘与他们保持联系，所以湘军攻陷安庆后，刘铭传等主动到安庆来找李接洽。李苦心竭虑地用宗族、乡情、邻里、师生、亲属等人际关系所编造的这张关系网无形而有力，在淮军官兵集中的合肥西乡具有深入人心的束缚作用。李动员自己的家人前来相助：在广东任粮道的兄长、老大李瀚章助购军需，三十六岁的弟弟、老三李鹤章来沪统率亲兵。二十六岁的老六李昭庆，陪同来沪参与戎机，有手不释卷的儒将之风，才干不比李鸿章差到那里。李鸿章很喜欢他，以其子经方为己出。两个妹夫张绍棠、贾同启也来沪助办军事，张绍棠升到提督。至于像李的内兄赵继元，恃势揽权后当上了两江军需局总办。
在摆布下属和本集团成员，使之听命于己或奉己为宗主方面，李堪称伎俩高超。满足其所需是一方面，而使其畏惧也不可或缺。李对当年安徽巡抚福济教他的秘诀牢记不忘：“时时以不肖之心待人，”决不能使手下诸将和睦，预防部下协谋不利于己。但李比福济还技高一招，福济做得过分了，造成主要将领相互猜忌以致失败；李则做得恰到好处，既能操纵，又可促其奋战。李纵横捭阖，决不会让任何一个跟随者强大到可以对自己的宗主地位提出挑战。各部下只许拥有对本部官兵的统治权，绝无相互统辖权。
同治元年（1862）一月二十一日，湘军自上海购来的一艘轮船抵至安庆，但曾国藩舍不得把该船交给李用作运兵，即使圣旨谕令轮运，曾也不松口。一个月后，上海官绅雇用的七艘轮船驶至安庆，而此时李的先头部队一千五百余人已开出安庆东关，只得又赶紧去把他们叫回来。然而，要不要全军坐轮船去上海成了湘军总部争吵不休的急切议题，好多老将进言：“不熟悉夷情，五千人马上洋轮冒险太悬太悬！”李差一点因此不能成行。
二月二十八日夜，曾国藩与李鸿章苦苦商议到天亮仍拿不定主意。但上海在召唤李鸿章，使他横下心决定孤注一掷。三月七日，众将官在提心吊胆下，率领着二千一百余人于上午七时许登上了三艘轮船，他们全是从湘军处借来的，带队者为程学启、韩正国、周良才。此时李鸿章人藏诡计：先让借来的湘军冲头阵，自己第二天再启航。轮船九时许起锚，起锚前曾国藩心里还是舍不得自己的家当，亲自到一艘艘轮船上去看望官兵们。也许他得到了李鸿章面许程学启下江甫当张国梁的情报，所以特地拍着程学启的肩膀勉励道：“江南人夸张国梁不绝口，你去江南，又是一个张国梁。我等着听你克复苏州的消息！”
李鸿章是在曾国藩训导、提携下发迹的，但曾国藩对李鸿章能否胜任援沪重托仍然心存疑虑，既担心李鸿章因缺乏阅历而摆不正“练兵学战”与“吏治洋务”的位置，又害怕李鸿章因思想个性而莽撞胡为。因此，在李鸿章离开安庆之前，曾国藩“临别赠言，谆谆以练兵学战为性命根本，吏治洋务皆置后图。”他知道在封建的中国“有军则有权”的道理，告诫李鸿章要把军事放在首位，在他看来，只有练就精兵，学会作战，才能站稳脚跟，飞黄腾达，否则将一事无成，甚至有丧失生命的危险。他还看出李鸿章心高气盛，急躁，傲慢，任性，这些致命弱点如不改正，后患无穷。因而曾国藩“以深沉二字”相劝，其他好友也纷纷提出忠告。李续宜“以从容二字”规之，沈葆桢、李桓“又以勿急相戒”。李鸿章深受教益，在给李桓的复信中表示：“手谕诲爱谆切，感佩无量。鸿章素性激直，从事师友贤豪间，皆深知其戆而曲谅之。自兹以往，不欲蹈习官样，又未便率性而行。”对于师友们的劝诫，“当奉为枕中秘”。
