苗、刘兵变平息以后，赵构又侥幸地重登帝位。在兵变中，许多官兵指责他一路南逃，完全放弃了北伐的打算，他都是听到了的。为了收揽人心，复辟之后不久，他就带了一批文武官员，浩浩荡荡地来到建康（今南京，原名金陵，当时已改称建康），扬言今后要以建康作为行在（临时首都），准备北伐收复失地。
这时，跟随杜充从东京撤退而来的岳飞，已先来到建康。他原先还很担心，杜充这支队伍是从东京擅自撤退南下的。现在见了赵构，不知杜充如何交差。不久他听到了一些出人意料的消息。
在知道以兀术为统帅的金兵又将大举南下的时候，赵构召集文武官员商量对策，决定不守淮河只守长江。以杜充承担全面防守长江下游的重责大任，提升他的职务为尚书右仆射兼江淮宣抚使、建康行宫留守。除了指挥他原来带领的陈淬、岳飞、郭仲荀等人的队伍之外，统制王的队伍也归他指挥，连布防在江州一带的刘光世、布防在镇江一带的韩世忠，也都归他节制。这些队伍的总数有十余万人之多。岳飞实在不了解，赵构为什么对这个毫无主见极不负责任的杜充如此宠信。以这种人来指挥千里长江的防务，他指挥得了吗？长江能守得住吗？赵构把诸事布置完毕之后，就带着一批文武官员匆匆回杭州去了。
岳飞的疑团，不久就解开了。原来杜充已经怀有异志，有了投降金人的打算。对于组织大军布置河防，岳飞是个内行，宗泽曾手把手地教他如何在黄河南岸布防，岳飞熟记在心。赵构走后，杜充指挥布防长江的一些措施，就迅速暴露了他自己的真实意图。他是以建康为重点，保护自己的身家性命、金银财物，和他军队的实力，完全不以江防为念。上任几个月，连江防工事都没有去看过一次。每日闭门宴饮自娱，夜夜笙歌，次日睡到日中方起，衣冠不整，根本没有一个统军大将的样子。岳飞看在眼里，急在心里。有一次他见到紧急军报无人处理，就冲进相府，把杜充狠狠地数落了一顿：
劲虏大敌，近在淮南，睥睨长江，包藏不浅（包藏的野心不小）。卧薪之势，莫甚于此时（这正是我们卧薪尝胆的时候），而相公乃终日宴居，不省兵事。万一敌人窥吾之怠，而举兵乘之，相公既不躬其事，能保诸将之用命乎？诸将既不用命，金陵失守，相公能复高枕于此乎？虽飞以孤军效命（光靠我一支孤军出死力，也解决不了问题），亦无补于国家矣！（《金佗稡编·行实编年》卷之一，建炎三年十一月）
岳飞在离开东京后，耐心地跟随这个窝囊废杜充南下，就是有意让自己禁受锻炼。杜充是个独当一面的大员，除了作威作福凶残好杀和会摆驾子之外，文不能文，武不能武，什么本领都没有，一路上还要靠岳飞保护，才能冲过重重难关，遇事还要让岳飞帮他出主意，才能处理得下去。岳飞名义上是个中级军官——统制，实际上已经成为杜充这支队伍的主心骨。他对杜充，想说就说，毫无顾忌，已经谈不上尊重。这时候，杜充面对岳飞的责问，一声不吭，最后被岳飞逼急了，才勉强应付了一句：“来日当至江浒！”（改天到江边去看看，也就是去巡视江防工事）说是这么说，他就是不出门。这个江防统帅杜充对于兀术率领的十万金兵，竟然是以“不设防”来对待。兀术大军沿着长江北岸由西向东猛进，就在杜充完全不设防的马家渡安然渡江，“渡江如蹈平地”。（《三朝北盟会编》卷一三四）
听到金兵已渡江的军报，杜充才慌了手脚，忙派都统制陈淬、统制岳飞等十多个将领率领三万人迎敌，又派御营前军统制王率领一万余人接应。两军对阵，兀术身先士卒，挥军猛进，王吓得转身逃跑，立刻冲动宋军阵脚，诸军纷纷溃退。阵淬力战阵亡，只剩岳飞所部，苦战半日，因为粮食辎重都被溃军带跑，没有饭吃，支持不住，只好退到钟山（今南京的紫金山），据险固守。杜充听到兵败的消息，连忙把自己的金银财物装船，想从建康的水西门驾船出逃。想不到当地的老百姓听到消息，立刻成千上万拥向城门，把城门堵住，不让他的船只逃走。杜充派人去欺骗老百姓说：“我这是要出城和金兵作战，希望你们不要阻拦！”对于这个说法，千千万万的老百姓没有一个人相信，大家冲着杜充怒吼：“要去与金兵作战，我们一起去！谁不知道你杜相公作威作福，平日枉杀了多少人，现在军情紧急，你就想弃城先逃！你逃不了！”看到老百姓越聚越多，杜充害怕激变，不敢轻动，只好暂时退回。到了半夜，才率领少数人马，偷偷地逃出城去，投降了金人。刚刚到任的建康知府陈邦光听说江防统帅杜充已经降敌，不敢抵抗，不等金兵攻城，就向兀术送上了降书。于是江南重镇建康，就由赵构的宠臣拱手送给了金人。
1129年的年底，是江南地区最混乱的时候，主帅投敌，军队溃散。最糟糕的事，是赵构把沿江千里十万守军（包括御营和地方军队）都拨给杜充指挥，他们的后勤补给关系也都交给杜充掌握。杜充一逃，秩序大乱，高级军官与后勤人员都把公款装进私囊，千千万万的下级官兵立时就没有了吃饭的地方。不管军纪多么好的队伍，一天至少要有两餐饭吃，如果连这一点都保证不了，请问军纪如何维持！从杜充投敌的那一天开始，江南地区就出现了千千万万的散兵游勇，各谋生路。能以正当的方法谋生的人是极少数，大部分人都结成团伙，掳掠为生，成为盗匪，成为流寇。结伙逃跑之风像瘟疫一样，也蔓延到岳飞的队伍里来。有不少人佩服岳飞的本领，不断地前来串联，希望推岳飞为主帅，回北方故乡去谋发展，都被岳飞断然拒绝。
在建康失守以前，岳飞多次劝诫过杜充，要他知道固守长江的重要性，金兵一旦过江，前途不堪设想。但是杜充听不进去，漠然置之。结果岳飞不幸言中，这时的江南一片混乱，盗贼如麻，金兵肆虐，地方官无力维持正常秩序，老百姓水深火热，呼救无门。令人痛心的惨象，触目皆是。岳飞最难过的是：这时不仅不能救国救民，连自己的生存也成了问题。他决心要做力挽狂澜的中流砥柱。为了抵御当时那一股溃逃之风，他立刻集合起自己的队伍讲话。由于爱国情殷，言辞恳切，心情激动，岳飞泪流满面：
我辈……当以忠义报国，立功名，书竹帛，死且不朽。若降而为虏（投降金人当奴隶、当汉奸），溃而为盗（流散成为扰民的盗贼），偷生苟活，身死名灭，岂计之得耶？建康，江左形胜之地，使胡虏（金人）盗据，何以立国？今日之事，有死无二，辄出此门者斩！（《金佗稡编·行实编年》卷之一）
说话的人泪流满目，听话的人也都泪流满面。在那一片人心惶惶的局面下，除了岳飞，还有谁能提出这样义正词严的救国救民的誓言，还有谁能发出“立奇功以复中原”的振奋人心的号召。岳飞自己的老部下，在混乱中慕岳飞之名前来投奔的别的队伍的官兵，还有与岳飞同乡、从中原投军扈从扬州小朝廷前来江南的一些老兵，无不深深感动，大家纷纷表示：“我们不逃跑了。”“我们不组团伙打回老家去了。”“我们惟统制之命是从！”“我们只有与统制同生共死救国救民，才是一条最光明的出路！”岳飞也感动得哽咽难言。军心稳定了，队伍团结了，他们立刻面临要谋一条出路的问题，也就是吃饭问题。还好，当时有些有远见的地方官都在访求军纪好不扰民又能打硬仗的队伍前去驻扎，以维持地方治安，愿意为他们长期提供军粮。岳飞的队伍早以军纪严格而闻名，这时正有广德州的地方官来请他们，从而解决了最急迫的生活难题。
当时这些因为杜充降敌而流散的下级官兵，大都是青壮年，能够劳动，只要有人提供一块可以驻扎的地方，提供军粮，他们就可以暂时安居。如果没有人提供驻地，到处流浪，那就不免骚扰百姓，沦为盗匪。岳飞的队伍既为广德州的地方官所欢迎，找到了一块立足之地，就为他们日后的发展打下了很好的基础。有些老兵，投军多年，还得不到杀敌报国的机会。自从投奔岳飞之后，虽然生活艰苦，却能不受上级的压制，只要有杀敌的机会，就可以自己做主，放手杀敌，倒也十分痛快。他们在广德定居之后，正逢兀术率领十万金兵途经广德突袭杭州。岳飞的队伍以逸待劳，等到金兵大队已过，才对后队包围痛击，一天之中就砍到带耳环的金兵首级一千多颗。在大批俘虏中，岳飞认真加以甄别，对被金人强征而来的契丹人与汉人，晓以大义，争取他们归降。并用缴自金兵大量装备武装自己。由于慕名前来投奔的人越来越多，岳飞这支队伍已有一万多人，连同家属、效用使臣（军中文员），人数接近两万。广德出产不丰，财力有限，供应已有困难，岳飞日夜为此忧心。
想不到岳飞在广德竟遇到了一位两年多未见的老朋友赵九龄，当年就是他把岳飞推荐给张所，使得岳飞受到破格重用。这时他在常州官府里当了一个小官员，他了解岳飞的近况之后，就力邀岳飞移驻盛产粮食的常州来。岳飞觉得常州是金兵北返时必经之路，正是自己将来截击金兵争取立功的大好机会，就高高兴兴地答应了。可是很不巧，就在他们准备出发的时候，突然得到常州已被金兵攻占的消息，此事只好暂时作罢。正在为难之时，岳飞部下的效用使臣李寅出了一个好主意，他建议岳飞移驻宜兴，说那里有一块地方可以驻兵、练兵。其地“三面临湖，唯有一陆路，极狭，使一小将守之，不可犯矣”。由于岳家军威名在外，通过联系，宜兴县官和民间有声望的人士都写信前来邀请。1130年春，岳飞全军离开广德，移驻宜兴。不管是陆地上的游寇，还是太湖中的水寇，听到岳飞大军来了，全都仓皇逃跑。岳飞人还未到，宜兴一带地方的治安已经大有好转。
