明朝永乐年间，顺天府香河县有个倪太守，家资万贯，良田千顷，深宅大院，好不气派。
太守夫人陈氏，单生一子名叫善继。善继长大婚娶成家之后，陈夫人身故。太守不惯鳏居生活，又娶十七岁的梅氏为妻。
却说善继，为人尖酸刻薄，见梅氏与自己年纪相仿，上下齐称“奶奶”，心里很不自在，便与妻唧唧哝哝说些闲话。太守知道了，虽不高兴，也只好藏在肚里。
幸得梅氏秉性温良，事上接下，一团和气。过了两月，梅氏得了身孕，捱到十月满，生下一个男孩。这天正是九月初九，便起乳名重阳儿。
善继见生一男孩，担心孩子长大后与他平分财产，便在背后说道：“这孩子不知是哪来的杂种，我不认他做兄弟。”太守知道了，也藏在肚里。
光阴似箭，不觉又是一年。重阳儿做生日，里亲外眷都来祝贺。唯独善继走了，不来陪客。太守看在眼里，也不寻他回来，心里闷闷不乐。
重阳儿五岁了，起学名善述，被送到学堂与善继的两个孩子一同读书。善继见重阳儿与自己儿子一般大小，而儿子们却要叫他叔叔，又与自己排行，心里好不嫉恨。
善继当日将儿子叫出来，另聘先生，分做两个学堂。太守知道后，不禁大怒，想去训斥一番，心急脚慢，被门槛绊了一跤，从此卧病不起。
善继也来看望，见老子病势沉重，料已不济，便盛气凌人，打僮骂仆，预先装出家主的样子来。太守愈加恼怒。
太守自知不久于人世，便取出家私簿子，吩咐善继道：“如今我将家产尽数交付与你，将来你弟成人，你可分他小屋一间，良田五六十亩，冻饿不着就是了。”
善继将簿子揭开一看，家产数目一目了然，便满脸堆笑道：“爹不必忧虑，我依爹吩咐就是了。”说完抱着家私簿子，欣然而去。
梅氏见善继远去，两眼流泪，指着善述道：“这个小冤家难道不是你的嫡血，你把家私全部交给了大儿子，叫我母子两口以后怎么糊口？”
太守见梅氏发誓终生守志，才说道：“善继又贪又狠，现分家产与你母子，怕连性命也难保。你且将就度日，将善述养大……”说着从枕边摸出一个卷轴来。
“这是我的行乐图，其中自有奥妙。你要好好收藏起来，将来善继不肯照顾你母子时，你找个贤明的官，拿这去告状，求他细细推敲，自有处理。”说完闭眼死了。
善继见老子已死，便作威作福起来。他先到梅氏房中翻箱倒箧，只怕父亲存下私房银两。梅氏藏了行乐图，其他东西任他翻看。善继没趣，只好去了。
善继又借修房为名，将梅氏搬到后园杂屋内居住，堆个土灶，让其自炊自食。梅氏每日做些针线，买卖些小菜，将就度日。
善继又生一计，叫妻子劝梅氏嫁人，并找媒人给梅氏说亲，后见梅氏誓死不从，只好作罢。
善述长到十四岁，已经是非分明。他见哥哥如此富贵，自己却衣衫不全，又听娘常说：“你哥哥不是好惹的，不要去缠他。”心中更是不解。
善述想：我父亲万贯家产，本应兄弟俩平分，如今我生活困苦，怎么我哥哥全不照顾。哥哥又不是老虎，怕他怎的？便瞒着母亲，径直到大宅去找哥哥。
见了哥哥，他叫声“作揖”。善继倒吃了一惊，问他来做什么。善述道：“我是个缙绅子弟，穿如此破旧的衣服，被人耻笑。老爹爹家私是哥哥掌管，特来找哥哥讨匹绢去做衣服穿！”
善继听说“家私”二字，便有怒色，道：“老爹爹就是有万贯家私，于你野种屁事！莫要惹着我性子，叫你母子二人无安身之处！”
善述道：“一样是爹爹的儿子，怎么我是野种！惹着你性子便怎的？难道你想谋害我娘儿俩，独占家私不成？”
善继大怒，骂道：“小畜生，看我教训你！”说罢，举起拳头，将善述打得鼻青脸肿。
善述挣脱了，哭着来见梅氏，道：“母亲何不去告官申理，厚薄凭官府判断。”一句话提醒了梅氏，便将丈夫临终时留下行乐图一事对善述讲了。
梅氏开了箱子，取出行乐图。善述展开画轴，仔细看了半晌，全然不解，心下好生烦闷。
过了数日，善述对母亲说：“最近人传新任滕知县断案如神，现在不告，待到何时？”母子商议已定，起了个早，带着轴儿，来到县中喊冤。
滕知县见没有状词，只有一个小小卷轴儿，很觉奇怪，便问其中缘故。梅氏将善继平日所为，以及太守临终遗嘱，细说了一遍。滕知县收了轴子，叫她母子回家耐心等待。
知县回到后堂，展轴观看，端详了半日，还是不解，想道：这画中婴儿定是善述，倪太守那一手指地又是为何？倪太守说画中藏哑谜，必然有其道理。
知县每日退堂，便展画观看，千思万想，一连数日。这天饭后饮茶，知县又看轴子，不小心洒了些茶水在轴子上。他拿到阶前去晒，忽见轴子里面有些字影。
知县揭开一看，正是倪太守遗笔：“全部家产已授予善继，唯东边小屋分与善述，此屋左壁埋银五坛，右壁埋银五坛，金一坛……”原来这行乐图是太守预先做下的。
滕知县见有这么多金银，眼红了。他眉头一皱计上心来，即命差人吩咐下去：“明日善继、善述和梅氏及亲族在家等候，滕知县要亲查家私，当场判断。”
善继听说后早将厅堂打扫干净，设一把虎皮交椅，烧起一炉好香。梅氏和善述到了，见十亲九眷都在眼前，不免说几句求情的话。善继虽然恼怒，此时也不好发泄。
等不多时，喝道之声过后，只见滕知县踱下轿来，正要进门，忽然面对上空，自称学生，连连打恭，好像与其上司寒暄。众人无不惊奇。
知县一路揖让，直到堂中，一会儿欠身问话，一会儿恭顺聆听，似鬼缠神附一般。众人见他这般模样，不敢上前，都站立在两旁呆看。
最后知县问众人：“倪爷哪去了？”众人连连摇摇头。“方才那人长身瘦脸、长眉大耳、红袍金带，不是倪爷的模样吗？”众人吓得跪下道：“正是他生前模样。”
于是知县将众人领进东边小屋，对善继道：“方才倪爷显灵，你家之事让我做主。这些田园账目都给你，善述不得妄争；这旧屋判与善述，屋中之物，你也不许妄争。”
善继暗喜，叩头说：“全凭恩台明断，小人决不妄争。”梅氏刚要分辩，见知县又说：“倪爷已言明，此屋左壁下埋银五坛，右壁下埋银五坛，金一坛。左右快掘开看！”
知县又道：“这是倪爷有灵，不然我何以知道。现将白银万两统断与梅氏母子，这坛黄金，倪爷说送我做酬谢，我再三推让，倪爷不允，只得领了，大家有何异议。”
梅氏母子见这许多白银，早已喜出望外，那一坛黄金，既是倪太守亲许，哪敢有议论。异口同声地谢道：“恩台明断，理当酬谢。”
善继见光灿灿的金银，眼中都冒出火来了，恨不能抢将过来。无奈早有言在先，又是先父灵言，不敢妄争。他满肚不乐，一气之下，倒在堂中。
滕知县也顾不得许多了，将一坛金子封了，抬到轿里，打轿回衙而去。
