曾氏“累世业农”，纵有读书之人，也向与功名无缘。曾玉屏不算富裕，却循依“以耕养读”传统，供给并鞭策长子曾麟书读书，将读书出仕、光宗耀祖的希望寄托在下一代身上。曾麟书积极向学，无奈天性“钝拙”，考了十七次童子试，方于四十三岁上考中秀才。在漫长无望的读书科考途中，他开馆授徒为业，兼之发愤督教自己的长子曾国藩读书，将两代人的希望加诸曾国藩一身。曾国藩五岁开始读书，七岁受父课读。自此，八年间未曾离开父亲的身边。道光四年（1824年），十四岁的曾国藩平生第一次随父亲赴省城长沙应童子试，父子双双落第。
曾麟书不想让儿子曾国藩遭受自己一样的挫折，道光十年（1830年），他支持二十岁的曾国藩离开家乡到衡阳双桂书院读书，师从汪觉庵。尔后，又拜在欧阳凝祉门下。汪觉庵、欧阳凝祉的学风为曾国藩日后成为名儒并注重经世致用打下了好的基础。不久，曾国藩考中秀才，并娶欧阳凝祉之女为妻。好事成双，同年，曾麟书第十七次应试，终被取中，成了秀才。父子俩改写了曾氏家族入湘五六百年间没有功名的历史。
曾麟书除呕心沥血“积苦力学”、教子读书外，最大的特点是“孝”。曾国藩祖父曾玉屏治家极严，一家大小，包括大他七岁的妻子、曾国藩的祖母王氏在内，见了他莫不屏神敛气，毕恭毕敬。曾玉屏对曾国藩之父麟书、叔父骥云兄弟管教严厉，对长子曾麟书责求尤为苛刻，“往往稠人广坐，壮声诃斥，或有所不快于他人，亦痛绳长子，竟日嘀嘀，诘数愆尤，间作激宕之词”。而曾麟书对父亲总是“起敬起孝，屏气负墙，蹴腊徐进，愉色如初”。
曾玉屏晚年中风致瘫，卧床不起。曾麟书几年如一日，从早到晚服侍父亲。曾玉屏一夜要小解六七次之多，曾麟书常常在暗夜里聆听父亲的动静，适时将便器送上。寒冬时节，曾玉屏需要解大便时，曾麟书即以身躯为父亲遮挡风寒，亲手替父亲洗净弄脏了的内衣内裤。以曾国藩为首，无论内外长幼，都为曾麟书的精神所感动，争着为老人做事，使老人快乐。曾玉屏病了三年多，曾麟书没有睡过一夜安稳觉，而他也已是年及花甲的老人了。
曾麟书在晚年曾自撰一联，抒发其志：
粗茶淡饭布衣衫，这点福老夫享了；齐家治国平天下，那些事儿曹当之。
曾国藩的母亲江氏年长丈夫曾麟书五岁。因曾麟书排行老四，故人称麟四嫂，后称江夫人。
江氏原籍江西，迁到湘乡后，第十二世祖江嘉爵病故没有请风水先生相“阴宅”，葬于湘乡仙人山称为“仙女袒肤”之地。后据风水先生云：此仙乃处女，葬于此地的人家要“洗女”九代，即九代头胎女孩都不能活，否则于她出嫁的男家不利。江嘉爵六传至曾国藩外祖江沛霖，其间繁衍了二十八个男孩，没有一个女孩。曾国藩的母亲出生后，江沛霖将她偷偷地丢到床下，企图使她冻饿而死。可她命大，冻了大半夜仍然活着。江沛霖大惊道：“可怜可怜，罪过在我，你不该死！”遂将其抱回，起乳名为“怜妹子”。江家“洗女”六代，人说可能发男家，江氏嫁给曾麟书后，丈夫中了秀才，儿子官封一品，荣华已极。因此江氏家族认为，曾家的发迹靠的是江氏祖先葬的这块“仙女袒肤”地。
江家原比曾家富裕得多。江沛霖的父亲江宏辉本是国学生，家业丰厚，颇有豪侠气概。江沛霖兄弟各分得一份不小的家业。而江沛霖“弃场屋为族之领袖”，“轻财好义，家遂中落”。江沛霖“虽然贫困不遏，其志未少损”。将女儿许给曾家后，他对女婿曾麟书寄予厚望。曾对女婿说：吾人为学，如果能不以外物移其志，不以世不录用而迁其业，持之以恒，自能成功。吾知你固能奋力而学，你的后嗣亦一定能光大吾道，努力吧！
曾麟书十分敬佩岳丈，常携妻儿造访江家。曾国藩十岁时，还曾到外祖父门下读书（江沛霖在家设馆课徒，招收了几百人）。江沛霖家旁有一口水井，据说有一次，曾国藩跟外祖母去提水，与表弟相挤，掉进了井，幸被江沛霖救了出来。江沛霖晚年信佛，认为这是江家与曾家的祖德相报，并从外孙掉进井里险些“浸死”二字的谐音预言：外孙将来一定会成“进士”。后来曾国藩果真成了进士。道光十四年（1834年），曾国藩考中举人，曾麟书又携妻儿拜望已经八十五岁的岳丈。曾麟书让儿子曾国藩将他中举的试文拿给外公看，江沛霖细细阅读，大加赞扬，对女婿说：吾过去就知汝后代力学有大成，足以为吾道之光，这无非是其发轫耳。
中举才仅仅是个开始。这既是肯定，又是鼓励和更高的期望。江沛霖的话，给曾麟书、曾国藩父子留下了一生都无法忘怀的印象。后来曾麟书为岳丈刻写墓碑时，还满怀敬意地叙述上事，并说：“享年已八十五矣，其志之不衰如此。”
家风的影响和作用是十分重要的。曾国藩母家对曾氏家族的影响也不可忽略。曾国藩的母亲江氏，拥有中国传统女性的许多优秀品德。她容貌秀丽，勤劳淑德，纺花搓线，烧茶煮饭，样样能干，并受家学影响粗识文字。当时，曾家经济尚不宽裕，江氏与曾国藩的父亲成婚后，谨守曾门家训，操持家务克勤克俭，特别是侍奉公婆十分周到。曾玉屏晚年卧病三年，她与丈夫日夜轮流守护床边，毫无怨言。江氏所生五男四女，“尺布寸缕，皆一手拮据”。曾国藩的父亲常以“人众家贫为虑”，而江氏总是“好作自强之言”相劝，或用“谐语以解劬苦”。她常对丈夫说：“吾家子女虽多，但某业读，某业耕，某业工贾。吾劳于内，诸子劳于外，岂忧贫哉？”曾麟书为岳丈写墓碑时，江氏也已病逝，叙述江沛霖“功德”之后，曾麟书如此赞扬自己的妻子：“麟书娶公之季女。顺而贤，孝而有礼，与麟书共事高堂四十有四年。攸助于艰难事苦之中，育诸子以成立，筋力亦云瘁矣。夙夜不忘公与夫人之厚爱。因相与谋，伐石立墓，以垂不朽致无已之情。咸丰二年，工未竣，遽别余而逝。余为此铭，不禁伉俪离别，有亡琴之感焉。”
曾国藩继承了母亲的性格，敢与困难周旋，有倔强之气。晚年时，曾国藩说：他们兄弟秉承母德居多，好处是天性“倔强”。“‘倔强’二字，却不可少，功业文章，皆须此二字贯注其中，皆从‘倔强’二字做出”。他虽衰老，“亦勃常有不可遏之候”。又说他曾对九弟曾国荃说：“凡事非气不举，非刚不济，即修身养家，亦须以明强为本。难禁风浪四字璧还，甚好甚慰。古来豪杰皆以此四字为大忌。吾家祖父教人，亦以懦弱无刚四字为大耻。故男儿自立，必须有倔强之气。惟数万人困于坚城之下，最易暗销锐气。弟能养数万人之刚气而久不销损，此是过人之处，更宜从此加功。”
手足曾麟书育有四女五子。曾国藩为老二，上有一姐，下有三妹四弟，因最小的妹妹早夭，实际兄弟姐妹八人。
曾国藩在兄弟五人中居长；二弟曾国潢字澄侯，在族中大排行居四，称老四；三弟曾国华字温甫，过继给曾麟书三弟曾骥云，在族中大排行居六，称老六；四弟曾国荃字沅甫，在族中大排行居九，称老九；五弟曾国葆字季洪，后改名曾贞干，字事恒，称季弟。分别小曾国藩九岁、十一岁、十三岁、十七岁。
对几个弟弟，曾国藩恪尽兄长之责，认为这是在尽孝道，能够教导诸弟的德业进一分，自己的“孝”就有了一分；能够教导诸弟的德业进十分，自己的“孝”就有了十分；若全不能教弟成名，自己则为大不孝了。
曾国藩将进修德业视为教弟的根本。一次，曾国藩接得家书，知四弟、六弟未得入学，怅然之余，教导弟弟们：“科名有无迟早，总由前定，丝毫不能勉强。吾辈读书，只有两事：一者进德之事，讲求乎诚正修齐之道，以图无忝所生；一者修业之事，操习乎记诵词章之术，以图自卫其身。进德之事，难以尽言；至于修业以卫身，吾请言之。卫身莫大于谋食。农工商，劳力以求食者也；士，劳心以求食者也。故或食禄于朝，教授于乡，或为传食之客，或为入幕之宾，皆须计其所业，足以得食而无愧。科名者，食禄之阶也，亦须计吾所业，将来不至尸位素餐，而后得科名而无愧。食之得不得，穷通由天作主。予夺由人做主；业之精不精则由我做主。然吾未见业果精而终不得食者也。农果力耕，虽有饥馑，必有丰年；商果积货，虽有壅滞，必有通时；士果能精其业，安见其终不得科名哉？即终不得科名，又岂无他途可以求食者哉？然则特患业之不精耳。”又说：“吾人只有进德、修业两事靠得住。进德，则孝弟仁义是也；修业，则诗文做字是也。此二者由我做主，得尺则我之尺也，得寸则我之寸也。今日进一分德，便是积了一升谷。明日修一分业，又算余了一文钱。德业并增，则家私日起。”
几个弟弟道理上明白，但实际行动起来，总是差强人意。如国潢懒散，国荃浮躁，国华受不得挫折，国葆缺乏自制。对此，曾国藩谆谆教导诸弟一要“立志有恒”，一要“专心致志”。他说：“苟能奋发自立，则家塾可以读书，即旷野之地、热闹之场亦可读书，负薪牧豕皆可读书。苟不能奋发自立，则家塾不宜读书，即清静之场、神仙之境皆不能读书。何必择地，何必择时？但自问立志之真不真耳。”又说：“求业之精，别无他法，日专而已矣！谚曰‘艺多不养身’，谓不专也。吾掘井多而无泉可饮，不专之咎也。诸弟总须力图专业。如九弟志在习字，亦不必尽庹他业。但每日习字工夫，断不可不提起精神，随时随事，皆可触悟：
四弟六弟，吾不知其心有专嗜否？若志在穷经，则须专守一经；志在作制义，则须专看一家文稿；志在作古文，则须专看一家文集。作各体诗亦然，作试帖亦然，万不可以兼营并骛，兼营则必一无所能矣。切嘱切嘱！千万千万！”
曾国藩关心弟弟们的学业，择学择师均一一参与意见，支持弟弟们赴省城读书，并负担他们的学费。曾国藩在信中对父亲说：“四弟欲偕季弟从汪觉庵师游，六弟欲偕九弟至省城读书。男思大人家事日烦，必不能在家塾照管诸弟，且四弟天分平常，断不可一日无师，讲书改诗文，断不可一课耽搁：伏望堂大人俯从男等之请，即命四弟、季弟从觉庵师，其束脩银，男于八月付回，两弟自必加倍发奋矣。六弟实不羁之才，乡间孤陋寡闻，断不足以启其见识而坚其志向。且少年英锐之气不可久挫，六弟不得入学，既挫之矣；欲进京而男阻之，再挫之矣；若又不许肄业省城，则毋乃太挫其锐气乎？伏望堂上大人俯从男等之请，即命六弟、九弟下省读书。其费用，男于二月间付银廿两至金竺虔家。”
几个弟弟都曾到京城曾国藩身边读书。曾国藩除身体力行，教弟读书外，又为他们捐监，创造科考的条件。但最根本的还是希望诸弟通过读书，明晓事理，修身齐家。他常与诸弟说：“吾细思凡天下官宦之家，多只一代享用便尽，其子孙始而骄佚，继而流荡，终而沟壑，能庆延一二代者鲜矣。商贾之家，勤俭者能延三四代；耕读之家，勤朴者能延五六代；孝友之家，则可以绵延十代八代。我今赖祖宗之积累，少年早达，深恐其以一身享用殆尽，故教诸弟及儿辈，但愿其为耕读孝友之家，不愿其为仕宦之家。”要求诸弟“读书不可不多，用功不可不勤，切不可时时为科第仕宦起见”，看不透这层道理，即便金榜题名高官显宦，终算不得祖父之贤肖，我家之功臣；若能看透此道理，则我钦佩之至。这其中，除了善劝，少不得严责。曾国藩严格要求诸弟讲孝悌、习勤苦、守朴拙、戒骄奢。他说：“至于兄弟之际，吾亦惟爱之以德，不欲爱之以姑息。教之以勤俭，劝之以习劳守朴，爱兄弟以德也；丰衣美食，俯仰如意，爱兄弟以姑息也。姑息之爱，使兄弟惰肢体，长骄气，将来丧德亏行，是即我率兄弟以不孝也，吾不敢也。”
曾国藩对诸弟既严如父又慈如母，思弟念弟爱弟之情时时溢于言表。他曾说：“我生平于伦常中，惟兄弟一伦，抱愧尤深。盖父亲以其所知者尽以教我，而我不能以吾所知者尽教诸弟，是不孝之大者也。九弟在京年余，进益无多，每一念及，无地自容。吾每作书与诸弟。不觉其言之长，想诸弟或厌烦难看矣。然诸弟苟有长信与我，我实乐之，如获至宝。……兄弟和，虽穷氓小户必兴；兄弟不和，虽世家宦族必败。男深知此理，故禀堂上各位大人俯从男等兄弟之请，男之意实以和睦兄弟为第一。……自忆连年教弟之信不下数万字，或明责，或婉劝，或博称，或约指，知无不言，总之，尽心竭力而已。”
