出身官宦人家的妻子，显然忍受不了这样的情况。有些人认为，唐伯虎的第二任妻子是因为唐伯虎的解元身份才嫁给他，实际上根本不爱他。为此，说她是泼妇、悍妇，用各种词汇贬低她。
然而，当我们站在女性立场上去看的时候，我们应该理解，为何一个女人宁可净身出户，也要与唐伯虎离婚（按当时法律规定，女子提离婚的话一分钱都没有）。显然，她和大部分深受儒家观念影响的妇女一样，难以忍受并更不会理解唐伯虎的行为。她和我们一样，乃是俗人世界里面的一滴水而已。
离婚后，孤身一人、穷困潦倒的唐伯虎更有些破罐子破摔的意味，经常与青楼名妓沈九娘来往。显然，对苏州名人唐伯虎，沈九娘早有耳闻。沈九娘粗通文墨，对于有才学的人很是敬佩。而苏州才子唐伯虎此时的境况已经大大好于两年前。
人们对于科场弊案已经慢慢淡忘，往日的乡情已重新再现。无论是对唐伯虎才学的肯定，还是为了苏州人的尊严，同时由于唐伯虎的朋友们对他的高度肯定，相信唐伯虎被冤枉的人越来越多。
为了女人他不要兄弟和朋友
弘治十五年（1502年）唐伯虎千里大游玩归来后便开始以专职卖画为生，并遇到了人生中最爱的女人青楼名妓沈九娘。久而久之，他便有意与沈九娘成婚（唐伯虎的第三次婚姻）。而这一行为，显然不符合儒家观念特别是程朱理学。弟弟唐申大加反对，兄弟二人失和。
然而，事情并未了结。回苏州后，唐伯虎经常青楼流连，他的朋友文徵明也对他有了很大的看法，便以书信的形式对唐伯虎进行了规劝。唐伯虎见状，立刻回复了一封《答文徵明书》（请注意文中词句语气，后面有简单的现代文解释，非逐字逐句）。
寅顿首徵明足下：
无恙幸甚！昔仆穿土击革，缠鸡握雉，参杂舆隶屠贩之中，便投契足下，是犹酌峣鸑以红，采葛簟而鷟峻也。
取之侧陋，施之廊庙，冠剑之次，人以为不类，仆窃谓足下知人。比来痴叔①未死，狂奴若故，遂致足下投杼，甚愧甚愧！且操奇邪之行，驾孟浪之说，当诛当放，载在礼典，寅固知之。然山鹊莫喧，林鹗夜眠。胡鹰耸翮于西风，越鸟附巢于南枝。性灵既异，趋从乃殊。是以天地不能通神功，圣人不能齐物。致农种粟，女造布，各致其长焉。故陈张以侠正，而从断金之好；温荆以偏淳，而畅伐木之义。盖古人忘己齐物，等众辩于嶒音；出门同人，戒伏戎之在莽也。寅束发从事。二十年矣，不能翦饰，用触尊怒，然牛顺羊逆，愿勿相异也。谨覆。
我们先看看唐伯虎这篇文章的语义何在：徵明兄没有什么病这太好了。小时候我跟着父母一起做小生意，杀鸡卖酒的时候就和您的关系非常好。别人都说我行为怪异，但我不管那些，因为我知道您对我是了解的。从前您的父亲尚在世，我的臭脾气一直没变过，气得您拿织布的梭子扔我，现在想来真是惭愧呀。
看到这里，我们看到唐伯虎似乎有悔意，然而，他话锋一转，却说：我也知道奇谈怪语行为乖张的我不符合礼教，然而，山雀不叫、鱼鹰夜眠，胡鹰在西风中展翅高飞向北方飞去，孔雀飞往南方。这是为什么呀？它们之间灵气不同，当然志向不会一样。
看到这里，唐伯虎霸气十足，摆出了一副绝交的架势。之后，他又摆出了居高临下的态势：天地万物没有全都会的，连圣人都做不到，男人种地，女人织布都是用其所长，只有这样才能兄弟同心（断金）。
最后，唐伯虎两手一摊，对文徵明说道：寅束发（15岁左右束发）从事。20年都这样过来了，希望您不要强行改变我！
文徵明实在是想不明白，为什么短短5年的时间，唐伯虎就成了这样的人。当年科场弊案出来后，他心情不好，出去散心的时候，还曾经留过书信，要自己好好照顾他的兄弟，怎么刚刚过了4年，他就变成了如此模样！想到此处，文徵明站起身找出了唐伯虎当年给他的书信，上面的字仍然清晰：但吾弟弱不任门户，傍无伯叔，衣食空绝，必为流莩。仆素论交者，皆负节义。幸捐狗马余食，使不绝唐氏之祀。则区区之怀，安矣乐矣，尚复何哉！唯吾卿察之。
兄弟孱弱，又没有叔叔伯伯，我怕他没吃的没穿的被饿死。我的朋友们都是很讲义气的人，望你们行行好把那些狗呀马呀吃剩下的东西周济周济我的兄弟，千万不要让我们唐家断子绝孙呀！
看到此处，文徵明两眼落泪。
出游散心
因为与朋友、兄弟失和，唐伯虎的心情糟糕透顶，于是他便在明孝宗弘治十八年（1505年）九月去了休宁县城西15公里处的道教圣地齐云山游览。果然，心情大好，为此，留下了一首七律《齐云岩纵目》。
摇落郊园九月余，秋山今日喜登初。
霜林著色皆成画，雁字排空半草书。
曲蘖才交情谊厚，孔方兄与往来疏。
塞翁得失浑无累，胸次悠然觉静虚。
说起这件事儿，还有一个民间传说，齐云山玉虚宫道长汪泰元要写碑铭，起先请了一个姓贾的秀才写，但秀才要二百两润笔费，道长拿不出来。幸好唐伯虎来到，他分文未要写了《齐云岩紫霄宫元帝碑铭》。这就是“孔方兄与往来疏”的来历。由此看见，唐伯虎目前的持家能力仍然欠缺，若是换了十几年后的他恐怕也没有这般潇洒。
这块石碑高达8米，如今矗立在玉虚宫大殿的左侧。在此，我们不妨摘录片段看看唐伯虎对于道教如何喜爱。
乾坤定位，二仪开五劫之端；人鬼分形，五岳镇九州之地。东溟银榜，标题长子之宫；西海玉门，实聚百神之野；皆所以节宣寒暑，鼓舞阴阳；万物赖之以生形，四民顺之而动止；兵戈籍之而底息，谷粟因之而丰登。
元天元圣玉虚师相仁威上帝荡魔天尊者，颛帝之神，水德继王；在先天则正位乾符，御北斗则斟酌元气。职领紫微之右坦，则并天乙太乙之座；宿列虚星之分野，则总司命司禄之权。劫当开泰之中，天启圣灵之孕；幽明协相，上下相流；凝二五之精以有生，建三一之道以度世；诞圣王官，出胎母胁；宝光所照，三辰为之失色；天灵护持，六种为之震动，洎乎髫年，辞亲就道，东游震土，元君指迷；受锡剑于天帝，悟磨杵于神姥。折梅枝而寄榔，升霄峰以圆功；虎将护坛，神龙捧足。
……
同时，唐伯虎又应王友格之请，为他写了《王氏泽富祠堂记》，其开头，便介绍了不凡的家庭背景“徽歙多世家，泽富之景曼氏，是其一也”。其后又交代了此行的目的“弘治乙丑，余行旅过徽，友格以币交，故为记其事云”。
从上我们可以看出，除了祝允明、文徵明等特别要好的朋友外，向唐伯虎索要各种记、铭、书画等其实都是要付钱的。所以说，此时的唐伯虎已经因为第三任妻子的出现，和兄弟交恶等原因，逐渐回归到世俗世界。
之后，他又为吴明道撰写了《竹斋记》。在此处不妨插一笔，正德十四年（1519年）十二月朔日（有人认为应该是1505年所写，意见不一），唐伯虎又在这个地方给汪时萃画了《双鉴行窝图》。泽富村在今天的安徽歙县王村，双鉴行窝始建于明孝宗弘治二年（1489年），祝允明为其题写匾额。这幅画今存于北京故宫博物院，一同保存在一起的还有“记”三篇，其中有一篇唐伯虎的《双鉴行窝记》。因为《唐伯虎全集》、《六如居士集》等都没有收入，我们在此摘录部分：新安富溪汪君时萃，号实轩，年已逾甲子。筑室数楹，苫茅以蔽风雨，埴垣以莳果药，布衣韦带，读书其中。夹室凿池二区，储水平阶；歌沧浪之濯缨，玩泌水之乐饥。不知老之将至，由是若将终身，遂匾其室之楣曰“双鉴行窝”……徽之缙绅大夫高其志趣，成为歌咏其性情，俾余识其端。余与汪君虽未伸寤言，即其室之所匾而占之，其修容仪持庄严者欤！其玩天运体造化者欤！其以理养心，以道养高者欤！故为撰记如左云。
