自从第一次带领农夫来到咸阳之后，刘邦开始喜欢上了“常徭咸阳”这份工作，乐此不疲，作为好友之一的萧何一直是几人中考虑得最清楚的，他担心刘邦在做这份工作的时候会有什么闪失，于是不知一次想要对刘邦进行劝告。但是他对刘邦的为人十分了解，于是归终还是没有对他进行劝止。但是这一次与往常是不同的，这次带队充满了危险的气息。因为这里刘邦带领的不再是服徭役的农家子弟，而是有刑罚在身的罪犯；他们的目的地不是咸阳城的阿房宫而是需要修皇陵的骊山。而且时间正是始皇帝病死沙丘的前夕，国内局势动荡，人心不稳，在半路上经常会出现强盗进行打家劫舍。服徭役的罪犯当然也蠢蠢欲动，想要趁机逃窜。雨欲来风满楼的形势下，县令点名命刘邦带领刑徒去骊山修墓，出发前刘邦便预感到气氛与往常不同，前景不妙。然而他多年来自告奋勇地“常徭咸阳”，人们又无不赞扬他带队有方，他此次怎好意思借故推辞，心中确实有难言之处。
果不出刘邦所料，刚刚离开沛县县城不远，队伍中便有很多人逃亡。刑徒逃亡的原因，当然是不甘受苦，担心难以活着回来，不如现在逃亡，也许会有一条生路。况且，当时的破产农民，还有在骊山修墓的刑徒，“亡逃山林”者大有人在，有不少人选择了这条道路。因而刘邦所带领的刑徒一离开县城便有多人逃亡，是不足为怪的。
面对着刑徒出发后的逃亡，刘邦大伤脑筋。他估计，照此下去，不待到达骊山，刑徒就要逃光了。当队伍行至丰邑（今江苏丰县）西面的泽中亭（因亭在沼泽地中，故名泽中亭）时，刘邦已从刑徒的逃亡中受到启发，找到了自己不容选择的惟一一条生路。刘邦知道，按照秦法，他所带领刑徒到达骊山时如果逃亡大半，是要依法问斩的。与其到骊山伏法就刑，莫如现在就逃亡山林，也许还能活下去。想到这里，刘邦主意已定。在泽中亭，刘邦下令就地休息，拿出自己的旅费，派人到附近买来酒肉，请大家开怀痛饮。以往刘邦也同带领的民夫们于途中饮酒，但作为队长他总是节制自己，因为前面还有路程。这次不同了，他前面的路程，不是西行入关，而是他也不知道的去处，自己从此不再是什么带队的队长，还节制什么？在酒肉面前，刘邦第一次与徒众们开怀痛饮。从表面上看，刘邦是那样高兴地大口饮酒，大声呼喊；其实，在场的人谁也没有像刘邦的心情是那样的复杂和痛楚。
痛饮之中，刘邦思念自父母生下自己以来，已有40余载。如今，父母健在，家有娇妻爱子，自己也曾多次带队去咸阳风光过，不止一次地做过当皇帝的美梦，而今日却落得个有国难报、有家难回、上不能孝养父母、下不能抚养妻子儿女的悲惨地步。此时此刻，他想的不是什么理想王国、皇帝美梦，而是必须正视的冷酷现实：逃亡山林。在这种心情下饮酒怎能不醉？待到夜幕降临后，刑徒中有不少人也都喝得大醉了。以刘邦的酒量，他虽然今日饮得大醉，但头脑尚且清醒，尚能出言不乱。刘邦见天色已黑，便起身向刑徒们高声说道：
“诸位父老乡亲们，你们就此各奔他乡去吧！我也要从此离开这里，远走他方了。”
刑徒们明白刘邦这番话的意思，是当场释放他们，各谋生路。刑徒们趁着酒兴，纷纷相互砸坏刑具，霎时间便亡匿不见了。有十几名青壮年被刘邦释放刑徒的行为所感动，觉得逃往他处也生死难保，甘愿随从刘邦同行。
刘邦在西距沛县县城200百华里左右的丰西泽中亭将所押送的百余名刑徒释放，自己也随即逃亡，为首者当然是死罪。消息很快便传到沛县。私自释放所押送的全部刑徒，这并非是件小事。若不是在秦帝国行将灭亡的前夕，这事非追究法办不可。然而，当时的天下动荡不安，各级地方官员也都是自身难保。如果上报朝廷，按秦法且莫说是沛令，就是泗水郡郡守也要负有不同程度的连带责任，将受到刑事或行政处分的惩罚，因而从县令到郡守都是故意装作不知，没有把此事上报朝廷。况且，沛县县令和县府中的属吏如萧何、曹参等人同刘邦又有着不同程度的密切关系，因而对此事遮掩不提，首犯刘邦亦未被立案追查。
刘邦释放刑徒后的去向不明，急环了家中的父母和妻子，特别是他的妻子吕雉。年迈的父母为儿子的下落不明而忧伤，但又无可奈何。父亲有时还很生气，怨他的这个三儿子从小就不听老人的话，“不事家人生产作业”，在外边胡闹，致使有今天的下场，叫老人为他操心，他这也是自作自受。作为同命运的妻子，吕雉与公公的想法和态度不大相同。自从得知丈夫逃亡后，她昼思夜想，坐立不安，在家里怎么也杲不住了。于是，吕雉把年幼的女儿、儿子安顿在外婆家中，自己毅然地离开家门，踏上了寻夫的行程。
且说当初刘邦举首四望，哪里是自己的栖身之处呢？因而自然地想起秦始皇几年前东巡时说过的一句话。这位千古少有的秦始皇帝，虽说是聪明一世，晚年却又做出了不少糊涂一时的蠢事。他听信“望气者”所说的“东南有天子气”，把这句话挂在自己的嘴边上，四出宣扬，并且以东游楚地来镇压、制伏这股天子气。就客观效果而言，这岂不是替被推翻的六国旧贵族宣扬帝国的江山不稳吗？怎能不算是秦始皇所做的一件蠢事呢？可以证明这一点的是，刘邦在走出沼泽地后，于迷茫之中受秦皇帝“东南有天子气”这句话的启发，举目遥望南面那云雾缭绕的芒山、砀山，心想：面前莫非就是为自己提供的有天子气的栖身之处吧？于是便毫不犹豫地带领十余人向芒山、砀山走去。
芒、砀两山在今安徽省砀山县东南，芒山县是沛县西南方的邻县，芒山在北，砀山在南，其间相距仅8里。芒砀两山是苏北丘陵的东缘，海拔并不太高，但位于低洼的沛丰沼泽地的南沿，其相对高度亦足以称为这一地区小有名气的山陵，况且山间有古树密林，杂草丛生，蜿蜒起伏，于“山泽岩石之间”，不乏有匿身之处，可供辗转栖身。
刘邦进入芒、砀山后，大有绝处逢生之感。匿身于山岩间的风霜雨露之苦，对于出身农家的刘邦和跟随他的十几余名青壮年来说，也算不得什么。虽然要经常变换住处，东躲西藏，但大家在一起共患此难，倒也是过得无拘无束，整日好不快活。刘邦约束跟随自己的十余名弟兄，不可侵犯附近百姓，干那些打家劫舍、杀人越货的勾当。
再说吕雉离开家门之后，一个从未只身出外的农家少妇，在杳无音讯的情况下四处寻夫，要经受多少辛苦和艰险的磨难？好在她天性“为人刚毅”，在丈夫畏罪逃亡、下落不明的情况下，为了寻夫，她已经不知道天底下有什么可以阻拦住她前行的艰难险阻；如果寻不到丈夫，自己活在世上还有什么意思？在这种意念支配之下，吕雉还会有什么畏惧吗？
吕雉逢人问路，首先来到丰西泽中亭：再四下打听，又来到了芒砀山。芒山与砀上蜿蜒方圆数十里，山高林密，杂草丛生，乱石遍地，终日不见人影，到哪里去找丈夫？就这样，吕雉在山中辗转多曰，终于找到了丈夫。
夫妻二人相见于山岩之间，吕雉两目直视从山岩上走下来的壮年男子，只见刘邦满面胡须，颧骨高突，两只比往常更加炯炯有神的大眼睛，把脸庞显得更加削瘦。再往下看他那褴缕的衣衫，一路走来时摇摇晃晃的样子，心里痛如刀绞，难道这就是分别不久的丈夫吗？刘邦瞧着妻子那副两目直视的呆傻神态，又见她那被山风吹乱了的鬓发，树枝划破了的衣袖，特别眼角上出现的皱纹，痛感妻子怎么竟会变成这副模样。二人面面相视，一时间相对无语。最终还是刘邦首先开口：“娥妁（吕雉字娥妁），你是怎么找到这里的？”
刘邦这句话，使得妻子再也忍受不住，便扑到丈夫的怀中失声痛哭起来。
刘邦向妻子询问家中父母和儿女的情况，妻子一一详细回答。又问一路上的艰辛，吕雉却用三言五语把话支吾过去，不肯向丈夫讲述她为寻夫所遭受的那些艰辛，生怕丈夫为此而心疼。吕雉问丈夫怎么竟来到这里，在这里生活怎样，刘邦以与妻子相同的心情，也是没有多讲，妻子听后心绪稳定下来。
刘邦的匿身之所并非是吕雉的久留之地，她只在这里留宿一夜便告辞离开。时隔不久，吕雉又来到山岩，为丈夫送来寒衣，为大家带来一些食品。此后的一段时间内，吕雉曾多次来芒砀山探望丈夫，刘邦等人匿身于山岩之间，为安全起见，经常变换栖身的地方，行踪瓢泼不定。然而，吕雉每次前来，总是能顺利地找到丈夫的藏身之处。
吕雉经常往来于沛县与芒山、砀山之间，这事怎能瞒得住家乡的人。时间一久，家乡的人知道了刘邦没有远走，就在西南方的芒山、砀山。吕雉对来到家中询问刘邦下落的萧何、曹参说了实话，萧、曹请吕雉向刘邦捎话，让他多加保重自己。
沛县的青年子弟们因为正值青春年少对这样的奇闻更是颇感兴趣，于是他们常常三五成群地聚在一起，商量着要不要前去投靠刘邦。有些人想着要借着天下动荡的时候混个前程。
刘邦在藏身与芒山、砀山之后，没过多久，早就病危的秦始皇终于在沙丘病死。继承皇位的秦二世倒行逆施，把天下搞得一片混乱，一年之内人心浮动、怨声不断，各种农民起义接连在各地上演。当陈胜、吴广在大泽乡举起反秦大旗的时候，这时候的刘邦也开始慢慢地发展起来。
