当时吴佩孚大帅真是到了山穷水尽的地步：他在天津车站的专车行辕上，除了身边的几百名卫队和一筹莫展的幕僚们以外，再也无兵可调，而奉系十几万大军已南京奉线步步进逼，冯玉祥的队伍也已过了廊坊，逼近杨村。大帅从来是具有惊人自信的，他曾向部下骄傲地说道：“人们都常说无有办法，我看应当是‘吴有办法’。”然而在这样的时候，大帅也变得实在是无有办法了。不过，吴大帅毕竟是吴大帅，他坐在自己的专车上，既拿不出退兵之计，也不肯承认自己的失败。当有人根据当时军阀下野后的惯例，劝他进入租界暂避时，他厉声斥责道：“堂堂军官，托庇外人，有伤国体，休得再言！”就在他处于“不战不和不守，不死不降不走”的尴尬局面时，一位熟悉心理学的美军驻天津司令官来拜见吴佩孚，首先颂扬了一番他过去的武功和这次指挥山海关大战的神勇，然后委婉地说到目前遭遇的困境，最后劝道：“天津华洋共处，非英雄用武之地。况将军素抱爱国卫民之志，目睹地方受战火糜烂，心中必定不忍。借此出外小游，换换空气，将来贵国需要将军之处甚多。莫以小小波折，致令英雄气短。”他一面同吴佩孚谈笑说话，一面唤来车站站长，调出机车两部，一前一后地挂上大帅的专车。一切妥当之后，他站起来恭恭敬敬地向吴佩孚敬礼道：“将军，我这就与你送行了。来日方长，后会有期，祝将军一路顺风！”就这样，他在两部机车一前一后的推拉下，被送出了天津车站，到达了塘沽海港码头。当他走下专车，登上从火车站通往海边的天桥时，凭栏四顾，仰天大笑几声，才下桥走上了停靠在码头边的一艘忠于他的军舰，向渤海上驶去。他想起孔夫子的一句名言：“道不行，吾将乘桴泛于海。”他感到自己的行为也是完全合乎圣人之道的。
后来有将近一年的时间，大帅从渤海泛到黄海，从黄海泛到东海；又从东海泛进长江口，从长江泛到洞庭湖，他的“道”没有人能接受。他仍然保持着“讨逆军总司令”的头衔，带着总司令部的全套人马，驻在军舰上，不承认由奉系军阀首领张作霖拥戴的“临时执政”段祺瑞对中华民国的统治。那些原来属于直系或者由他保举的省长督军们，虽然有不少仍然崇拜和同情他，但慑于冯玉祥和奉系军阀支持的中央政府对吴佩孚的态度，除了暗地接济一些粮饷和枪弹外，也不敢留他在自己的土地上居留。在大帅养晦黄州、日子最艰苦的时候，有一位日本驻汉口领事馆的外交人员，曾经向大帅转递过这样的信息：日本一位要人很仰慕吴玉帅，给汉口领事来电，探询玉帅有无东游日本之意。如愿意赴日，这位要人极表欢迎。大帅听后，只轻蔑地回答了一句：“我连租界都不住，哪能去日本？”仍然浪迹江湖，作白云黄鹤之游。后来，终于感动了曾经败在大帅手里的湖南省长赵恒锡，他让曾在吴佩孚手下当过镇守使的一个湖南人葛豪出面，以老部下身分邀请大帅到岳阳居住，大帅这才舍舟登岸，结束了几个月的漂泊生活。张作霖和段祺瑞知道后虽然深为震怒，但鞭长莫及，实力难以到达湖南，也只好装聋作哑，闭口不提。
到了一九二五年的七八月间，冯玉祥同奉系军阀的联盟公开分裂，他知道吴佩孚的直系旧部在长江流域和东南地区还有着雄厚的潜在势力，如能重新联合，足可压倒奉系，因此极力希望吴佩孚东山再起。这时，当年大帅手下的一些将领，也亟思报第二次直奉战争失败之仇，纷纷进行联络活动，准备重新拥戴大帅出山。其中以孙传芳和靳云鹗二人，最为得力。孙传芳字馨远，原来是直系湖北督军王占元部下的一个旅长，王占元倒台后，投靠吴佩孚，后被任命为福建督军。在第二次直奉战争开始前，他同江苏督军齐燮元从南北夹攻亲奉的浙江督军卢永祥，终于捷足先髓，攻下杭州，被曹锟任命为闽浙巡阅使兼浙江督军。第二次直奉战争失败后，奉系军队虽然占领了安徽、江苏和上海，但由于孙传芳兵力雄厚，又兼骁勇善战，因此未能攻进浙江。
他久已想驱走奉军，得到江苏、安徽以至山东一带的地盘，为他夺取中枢权力奠定基础。此次拥戴吴佩孚重新出山，他最先发动了讨奉战争，自称为五省讨贼联军总司令，并领衔向吴佩孚发出通电：“胡匪横暴，举国欲得而甘心，我帅悲悯为怀，仰恳出山，北上申讨。传芳等不才，愿执鞭弭以从其后。”他带领队伍首先出击，表示要打下上海、南京以后，迎接吴佩孚东来主持大计。靳云鹗字荐青，原是北洋直系第十四师师长，也算吴佩孚手下一员能征惯战的骁将。第二次直奉战争中，他的队伍准备由舰船从海上运至辽东半岛登陆，从侧后直捣奉天。不料后来战事发生突变，这一计划未能实现，他的队伍也由冯玉祥的国民第二军收编。
他自己离军回到原先驻扎的豫南一带，在鸡公山上修建了一处住所，取名“争气楼”，表面上不问世事，实则关心着局势的演变。当听到冯玉祥和张作霖发生裂痕的消息后，感到这正是重振直系的大好时机，于是立即下山活动，首先联络了被改编为国民军的旧部，已扩大有三师之众，官兵们听到联冯讨奉的主张，都愿意重归直系建制，为大帅效命疆场。靳云鹗手中有了实力后，便派出代表同散居各地的直系将领们进行联络，取得一致意见，然后他又兼程赶赴岳阳，面谒大帅，报告联络旧部及各将领会商经过，恳请大帅出山主持一切。吴佩孚见时机已经成熟，便于一九二五年十月十八日在岳州发出通电：“迩者奉军深入，政象日非，孙馨帅兴师讨奉，坚请东行，以便会师徐州。福建周樾帅电称，统率全部师旅，惟吾师之命是听。湖北肖珩帅率湖北全体将领，电促早日命驾。救国锄奸，岂容袖手？兹定于二十一日赴汉，匡扶国难，共策澄清，特先奉闻。”到了十月二十一日，大帅在湖北省的文武百官和各地来的直系将领们热烈欢迎下，乘“决川”舰抵达武汉，宣布就任川、黔、桂、粤、湘、浙、闽、苏、皖、豫、鄂、赣、晋、陕十四省讨贼联军总司令。吴佩孚大帅终于又一次登上政治舞台了。
对于直系的那些将领们来说，讨贼联军所指的“贼”，当然是奉系军阀的首领张作霖。然而，大帅却有自己的想法，他对于第二次直奉战争的失败，一直耿耿于怀的，是冯玉祥的倒戈。大帅熟读《春秋》，平生最重气节，他最爱画竹的原因，也正是赞赏竹“有节”。在他的头脑里，“忠臣不事二主，烈女不嫁二夫”，这是为人处世最紧要的道德准则。他之所以格外崇敬关岳，其根源也在于他们秉性节烈，是千古忠义的典范。因此，他认为敌人情犹可恕，倒戈将军实在难饶；要消灭奉系军阀，首先就必须消灭冯玉祥。当他尚未东山再起时，就已经确定了这样的目标，不过那些将领们都主张“联冯讨奉”，并以此作为号召旧部、拥戴大帅出山的纲领，他也只好暂时把自己的主张搁置起来，留待重新掌握了权柄以后再说。在大帅就任十四省讨贼联军总司令后，孙传芳已经攻占了上海和南京，又接连占领安徽，领兵抵达了徐州。那时山东是奉系军阀大将张宗昌的地区，河南和河北由冯玉祥的国民军占领，当孙传芳在津浦线上同奉军恶战时，曾希望吴佩孚亲领大军沿京汉线和陇海线，出兵徐州，共同消灭奉系的主力。但由于大帅刚刚出山，一切尚未就绪，同时也因为大帅本来就想改“联冯讨奉”为“联奉讨冯”，对出兵徐州之举并不十分热心。孙传芳在占领徐州后，自然对大帅没有发兵相助极为不满，而且他又已经完成了统一五省的大业，感到羽翼丰满，不需借重大帅的威望了。从此他也就同大帅保持了若即若离的关系，在江东独树一帜，把自己势力范围内的苏、浙、闽、赣、皖五省排除在了大帅的十四省联军之外，这是后话。
靳云鹗在拥戴大帅出山后，成为了支撑直系的台柱，被任命为十四省讨贼联军副总司令兼第一军总司令，统率直系的主力。他在直系将领中是后起之辈，为人颇有大志，总希望重振直系声威，而要达到这一点，首先必须消灭奉系军队这一大敌。
他认为冯玉祥秉性刚直，带兵有方，怀有救国救民之心，虽然在那次对奉军的战争中他的倒戈行为不值得称道，但现在既然已有了悔改之意，如能齐心团结，直系的力量一定能战胜奉系。因此，他受命就任后，立即在河南集结队伍，准备出陇海路向山东方面的奉军进攻。
驻守在河南的冯系将领，是国民第二军军长兼河南督军岳维峻。原先靳云鹗的队伍就是由他收编的，吴佩孚出山后，他手下有三个师回到了直系，心中当然不会乐意。但为了遵从冯玉祥“联吴讨奉”的大计，他也只好忍痛作出牺牲。接着，吴佩孚又以十四省讨贼联军总司令的名义，命令他立即派兵出陇海路向山东的奉军进攻，让靳云鹗统率直系主力殿后。那岳维峻也并非傻瓜，明明看出这一步棋是吴佩孚想夺取河南地盘，使的调虎离山之计，什么“讨奉援孙”，全是骗人的鬼话，他可不会上当。因此立刻复电吴佩孚，声称自己兵力有限，还是请靳云鹗副总司令指挥直系军队充当讨奉前驱，并已在陇海线上准备军车多列听候调用。吴佩孚得电大为震怒，立将“讨奉”的命令变为“驱岳”，令靳云鹗从陇海线回师进攻开封、郑州和洛阳，又从湖北调遣大批援军沿京汉线进入河南。那岳维峻一面集结队伍保卫开封等地，一面调遣最精锐的蒋世杰师扼守信阳，阻止湖北的队伍过来。靳云鹗开始也感到是岳维峻不顾“讨奉”的大局，决心消除障碍，挥师猛烈进攻，不多日就占领了归德、兰封，逼近郑州。湖北的鄂军由寇英杰率领，进攻信阳，不料那蒋世杰十分顽强，坚守四十八天，直系鄂军累攻不克。后来吴佩孚一面增兵围困，一面令寇英杰师绕道向北进攻，接连占领驻马店、漯河、许昌，同靳云鹗会师郑州。吴佩孚早已向寇英杰许过愿，这时任命他为河南督军；同时又任命靳云鹗兼任河南省长，继续带领队伍沿京汉线和陇海线向国民军进攻，恢复直系原来所有的地方。
当吴佩孚就任十四省讨贼联军总司令的时候，奉系军阀首领张作霖也颇感一点恐慌。他深知吴冯联合的力量，足可战胜奉系，因此一面密切注意着事态发展，一面暗示奉系在关内的山东督军张宗昌和直隶督军李景林，可以根据情况便宜行事，在吴冯联合中打进楔子。那李景林和张宗昌原先也都是关内将领，并不愿久居“关外王”之下，此时也乐得脚踏两只船，便立即对吴佩孚大献殷勤，表示崇敬仰慕之意。吴佩孚正好有意联奉，双方一拍即合，经过几次代表往返之后，李景林和张宗昌便分别通电就任了讨贼联军的直军总司令和鲁军总司令。与此同时，张作霖也在奉天发出通电，欢迎吴佩孚的东山再起，并表示今后关外的事由他负责应付，关内的事情吴玉帅全权主持。这等于是亲自向吴佩孚提出了结盟的纲领。
冯玉祥也看到了吴佩孚决心联奉，并一定要同他算旧账的形势。为了使这个直奉联盟变成流产，冯玉祥下出了一步绝棋：他发表通电，宣布辞职下野，这样使直奉双方都失去了“讨冯”的目标，自然会发生新的利害冲突。他在通电中把希望寄托到吴佩孚和担任临时执政的段祺瑞身上，而把张作霖撇到一边不提，声称：“国家大计，执政硕德耆年，万流仰镜；子玉学深养粹，饱经挫折，当能不愈前嫌，共谋国是。”如此这般。接着，代替冯玉祥统率冯系军队的大将张之江，也向吴佩孚致电表示：“追随我帅之后，勉效驰驱。”他们认为这样一来，吴佩孚纵有天大的怨气，也会烟消云散，化干戈为玉帛了。
