赵构离开扬州，衣冠不整，一路骑马飞奔，被千万军民所目睹，狼狈不堪。
追随着他骑马奔来的只有内侍康履，将领王渊、张俊与几个卫兵，共同找了一条小船，渡过长江，逃到镇江。因为大雨滂沱，他们进镇江城时候，一身泥泞，成了几只泥猴子，君不像君，臣不像臣，官不像官，兵不像兵。他这次从扬州南逃，虽然侥幸未被金兵抓住，但也付出了不小的代价。这种代价既包括心理上的惶恐绝望（知道金国抛弃了他），也包括生理上的得病。这个22岁的年轻皇帝从此得了熏腐之疾，也就是失掉生育能力的毛病，他的后宫后来再也不闻怀孕之说。由于他带头逃跑，造成扬州军民，乱成一团，拥挤践踏，死伤惨重。当时皇帝先逃，宠臣黄潜善、汪伯彦两人得到消息，随即也上马南逃，然后才是文武百官、全城百姓，大家分头乱窜，还未出城门，在大街小巷，踩死的人已经成千累万。
当时的扬州是全国最繁华的大城市（所谓扬一益二，就是全国的大城市以扬州为第一，益州即成都为第二），扬州全城和从扬州到瓜州一线，沿途军民跟随逃跑的共有一百多万，保卫皇帝的御营十万人马，在扬州至瓜州的几十里大道上与民争路，更兼倾盆大雨，人仰马翻，军民一路摔死踩死的不计其数。到了长江边上，许多被军队高官征用的大船早已开走，军民拥挤落水，随波逐浪漂流，亲人互相呼喊，沿江哀声动地。金兵还未追到，军民已经死伤了数十万人。史书上明明白白地记载着“官、军、吏、民死者数十万。”（《三朝北盟会编》卷一百二十，建炎三年二月三日）当时有人估计，扬州之败死伤的人数比国家对外一次大的战役还要多。金兵两次南下包围东京，包括最后的靖康之难掳走与虐杀中国人十余万，其死伤人数加在一起，还赶不上扬州之败死伤的人数多。
由于赵构平时遇到一些招人恨的事，都喊汪伯彦黄潜善两人特别是黄潜善去抵挡，造成了黄潜善的恶名在外。大家对于皇帝，觉得他太年轻了，不免受人蒙蔽，反而对他有几分谅解，几分同情，而把仇恨都集中到黄潜善的身上。
扬州街头，早就议论纷纷，大家都说：老宗相公在当东京留守的时候，像一道铜墙铁壁挡住了金兵，老百姓家家安心睡觉。他老人家一归天，金兵就又打过来了。坏了国家大事的，就是黄潜善这些奸臣，老宗相公就是让他们死气的，奸臣不除，国家无望。赵构部下的将士大都是北方人、两河人，他们的老家都在沦陷区，久已不通消息，他们日夜希望渡河北伐，打回老家去，这和宗泽的想法是一致的。宗老将军的出师未捷身先死，早已让他们悲愤莫名；这时听说准备迁都江南的主意正是黄潜善出的，这样一天天向南逃窜，不知要逃到何时才能了结！不杀卖国贼，有家不能回，百万军民满腔怒火一起指向黄潜善！
在从扬州到瓜州的大道上，司农卿黄锷骑马奔至江边。有个溃兵喊了一声“黄某在此”，大家以为是黄潜善，纷纷痛骂：“误国害民，都是你们这些家伙！”立刻把他拉下马来，他还来不及分辩，刀枪齐下，头已落地。
给事中黄哲也被误认为黄潜善，被人连射四箭，当场身亡。
还有黄唐杰两兄弟被误认为是黄家的人，大家分不清谁是黄潜善，就把他们一起推进大江里淹死。
愤怒的军民并不知道小朝廷内部议事的真相，坚决卖国投降，坚决向南逃跑这些大政方针都是赵构本人钦定的，恶名在外的黄潜善不过是个执行者或者是个对外的“发言人”而已。如果大家知道了真情，对赵构也照样会不客气。赵构的狡猾，首先在于他能装成一付老好人的样子，不会成为大家仇恨的目标。其次，他每做一件恶事，都要事先选好替死鬼，让别人代他背上恶名。这时候，他把扬州之败的罪责推到汪、黄头上，十三年之后，又把冤杀岳飞的罪责推到秦桧身上。
《宋史·高宗本纪》中说：“（赵构）其始惑于汪（伯彦）、黄（潜善），其终制于奸桧，恬堕猥懦，坐失事机。”说明他一生所做的许多坏事，汪伯彦、黄潜善、秦桧这三个人永远都要承担一定的责任。赵构千方百计把谋害岳飞的罪责推卸到秦桧头上，让后人为争论谁是主犯一事争了八百年，足以说明他的狡猾。
在从扬州逃到镇江的途中，广大军民臭骂扬州小朝廷的一些不好听的话，赵构是亲自听到了的。愤怒的军民出于误会而怒杀姓黄的那些官员的场面，他也是亲自看到了的。由于众怒难犯，他不能不装出一副认罪悔罪的姿态，下了一份罪己诏，以平民愤，同时公开宣布，黄潜善、汪伯彦一起革职，永不叙用。从此以后，黄汪两人确实是离开了小朝廷。赵构也恨他们，不是恨他们不听话，而是恨他们麻痹大意，逃跑不及时，几乎送了自己的老命。
虽然扬州一带的军民怒火万丈，只要赵构能够把南逃的速度放缓一点，卖国投降的步骤放慢一点，认真罢黜几个贪污腐败的投降派官员，小朝廷内部的矛盾也许还可以拖个一年半载，不致立刻爆发。可是赵构太不识相了，他虽然下了罪己诏，反而加快了南逃的速度，从镇江南下丹阳、常州、无锡、苏州、嘉兴，直到杭州。他虽然罢黜了黄潜善、汪伯彦，却对扬州之败的罪魁祸首御营都统制王渊恩宠有加，加官晋爵，激起御营扈从官兵极大的愤怒。在金兵接近扬州之时，王渊作为御营官兵的最高指挥官，理应有个应变计划。他早已知道小朝廷在离开扬州之后，要南逃到杭州去，又身兼渡江舟船调度的总指挥，就该作好小朝廷公文档案、金银财物的转运工作。可他对于公家财物一概不管，却利用手里的职权，抢先从扬州征得一百多艘大船满载自己的财物和眷属转运到杭州。
同时为了巴结赵构身边当权的太监康履等人，一部分船只装载的是太监的财物。装载公物的船只都拥挤在扬州到瓜州五十里长的运河里，因为潮水未涨，运河中船只拥挤，全都无法行动，金国的骑兵却抢先到了。由于小朝廷的君臣相继逃跑，无人抵抗，金兵唾手而得扬州。他们乘机放火，乘火抢劫，眼看全城军民在火光中乱窜以为笑乐。繁华的扬州遭受了毁灭性的一场浩劫，全城被烧死的黑骨成堆。经过几天的大火，扬州成为一片废墟。从扬州南逃的道路上，又是王渊部下的几万御营人马在与老百姓抢路。拥挤践踏，死人无数。到了瓜州渡口，官兵与百姓争渡，百姓纷纷落水，呼儿唤女，撕心裂肺的喊声，令人心悸。在从镇江逃往杭州的道路上，沿途照样刮起一阵逃难风。百姓跟随在官员之后，扶老携幼，弃家而逃，亲人走散，喊声不断。溃兵沿途抢劫，放火灭迹，“所经之处，则烟火亘天，焚烧十室而九，所存者往往亦不足障风雨矣”。（《三朝北盟会编》引《维扬巡幸记》）
在扈从赵构到杭州的水路上，王渊与一些高级太监坐在豪华的大船上，沿途“以射鸭为乐”。一到杭州，他们不顾官兵的辛苦与百姓的颠沛流离，竟然立刻戒严，驱车到钱塘江去“观潮”。看到他们如此作威作福，扈从官兵的肺都要气炸了，大家一起痛骂王渊：“汝辈使天子颠沛至此，犹敢尔耶！”（《建炎以来系年要录》卷二十一，建炎三年三月已卯朔）从这样的骂声中可以听出，官兵们当时痛恨的是王渊等人，至于赵构，大家还以为他是个不懂事的糊涂人，并没有把仇恨记在他的头上。这一次扈从官兵与王渊的正面冲突，引发了一场熊熊大火，那就是爆发于建炎三年（1129年）三月五日的苗、刘兵变。
这一次大暴动的参加者，既不是农民，也不是市民，主要是扈从赵构来杭州的下级官兵，因此既不能叫做农民起事，也不能叫做市民暴动，只能叫做一场兵变。带头的是扈从统制苗傅和武功大夫刘正彦，他们级别都不高，都是真正的军人出身，能为当兵的说话。扬州小朝廷一年多的倒行逆施，受害最深的是下级官兵。不论是农民也好，市民也好，只要是战事还没有波及的地方，总还能在家中苟安一时。只有下级官兵，本是为了抗金救国才投军的，可是投军之后，与金兵还没有打过照面，就被赵构牵着鼻子一路南逃，越走越远。家乡沦陷以后久无消息，想要打回老家去的心愿越来越难实现。军中赏罚不公，大家心中的积怨越积越深，一旦点燃，立时爆发。他们和王渊的正面冲突，成了暴动的导火线。苗傅、刘正彦知道得罪王渊之后，必遭报复，所以先对王渊下手。在大乱中，刘正彦奋起把王渊一刀劈死。杀了王渊之后，他们又把受贿卖官的太监康履等人一一处死，然后包围皇宫，把赵构拉出来，由苗、刘两人当面痛数他的罪过：
一.重用误国奸臣黄潜善、汪伯彦，坏了国家大事，事后又不严惩。
二.赏罚不公，逃将升官，让王渊等人假公济私，作威作福。
三.宠信太监，致使太监贪财卖官，败坏国家纲纪。
四.一味南逃，国家大乱，致使“数路生灵无罪而就死地”。
就凭这些罪过，苗、刘等人就当众宣布：
一.上（赵构）不当即大位，应该退位，取消建炎年号。
二.立三岁（其实还未满三岁）的皇太子赵旉为帝。从建炎三年（1129年）三月十一日开始，使用明受年号。
三.请隆裕太后（即宋哲宗的皇后孟氏）垂帘听政。
看来广大军民虽然文化不高，也并不是傻瓜，赵构不应该自立为帝的事，大家过去也是心知肚明的，只不过不敢说而已。一年多以前，赵构在南京应天府（河南商丘）自立为帝，太学生陈东上书，认为钦宗赵桓还在，他不当即大位。赵构在暴怒之下，把陈东斩于东市，陈尸街头。但是这时苗傅、刘正彦还是用同样的理由指责他不当即位，应该退位，他却俯首无辞，索索发抖，一把眼泪一把鼻涕地认罪求饶，不敢顶嘴。
