1901年9月5日，连任美国总统的威廉·麦利金在布法罗遇刺身亡，副总统西奥多·罗斯福于9月14日继任总统，成为美国历史上第26任总统。总统遇刺事件震动了全国，关心政局的人们都议论纷纷。而这时的哈里·S·杜鲁门却无暇顾及这些，他正面临着困难的抉择。
父亲的受伤及失业，造成了家庭经济的严重困难；报考西点军校的失败也使他个人心灰意冷。作为家庭中的长子，杜鲁门义不容辞地担起了家庭生活的重担，17岁的他没有再申请任何大学，开始了艰难的求职生涯。
1901年到1902年，他在独立城一个铁路承包商那儿找到了一份计时员的工作，月薪35美元，这也是杜鲁门生平第一份工作，尽管是临时的。
1902年到1903年，他在附近堪萨斯城的《堪萨斯城明星报》担任邮件管理员，月薪42美元。这是一家很有名的地方报纸，1917年后，卸任的西奥多·罗斯福曾成为它的撰稿人。
19世纪末，美国资本主义已进入帝国主义阶段，垄断形成了。在金融资本高度集中的美国社会，行业发展起来。杜鲁门因此有机会在银行中工作了四年。1903年到1904年，他在堪萨斯城国民商业银行作办事员，月薪35美元，后改为60美元。1904年至1906年初，他在联合国民银行作簿记员，每月挣75美元。就在这里，他曾与后来成为他的继任者的德怀特·艾森豪威尔的弟弟住在一个公寓里，但交往并不多。
杜鲁门在外的工作职位很低，工作量也很大，尽管劳累一些，但他却为能够帮助家里过活而感到自豪和满足。
1906年，早已康复的父亲又经营起自己的农场。于是，在父亲的要求下，杜鲁门结束了在外求职的生活，回到位于密苏里州格兰德维尤附近的家庭农场。20世纪初，汽油发动的拖拉机开始在美国的田野上使用了，而且迅速地取代了曾作为主要动力的马和牛等。在这段美国农业发展的“黄金时代”，杜鲁门的农场生活比较安定。于是在经营农场的同时，他又开始自学一些法律、政治方面的知识，以弥补自己的知识缺陷。
1914年6月28日，欧洲巴尔干地区的战争阴云终于因“萨拉热窝事件”而激化为暴风雨式的战争。1914年8月，随着第一次世界大战全面爆发，当时的美国总统威尔逊呼吁美国人严守中立。到1917年春，以英、法、俄为首的协约国集团和以德意志帝国、奥匈帝国为首的同盟国集团都没有取得决定胜利，而协约国士兵情绪尤为低落。
美国对第一次世界大战的态度在1917年初发生了转折，由于所谓“齐默曼电报”事件和德国开始“无限制潜水艇战”，美国的反德情绪高涨。1917年4月，威尔逊要求对德宣战，四日后，得到参众两院批准。
美国对战争的准备不足，但美国新兵们却怀着高昂的士气参加第一次世界大战。1917年夏秋两季，越来越多的美国军舰抵达法国港口。在众多的到达法国的美国士兵中，人们可以找到戴着厚眼镜片的哈里·杜鲁门。
杜鲁门在1905年至1911年间曾在密苏里州国民警卫队服役。1917年5月，他再次应征入伍，在俄荷拉马州锡尔堡的多尼芬营进行训练时，他主管第一二九炮兵团的小卖部。但不久以后作为正规军，他踏上了欧洲大陆。
到达法国的美军新兵大多对战斗一窍不通，步兵们一到法国便开始接受壕战和散兵战的严格训练，执行突袭任务。而杜鲁门作为炮兵军官，被送进法国炮兵学院学习。1918年4月，他走出校门时，已从少尉提升为上尉。并担任一二九团D连的连长，这个连的大部分战士都来自堪萨斯城，与杜鲁门家乡很近，这为他日后的发展打下了基础。他的初入政界便是在堪萨斯城由战友推荐成功的。
到1917年底，在法美军已达1715万多人，但只有很少的人参加过战斗，而杜鲁门又不幸地成为其中一员。
1918年9月，杜鲁门所在D连第一次战斗，顶住了德国炮火对其位于孚日山脉黑伦见格山阵地的轰击，首次参战的杜鲁门表现出了坚定、勇敢和无畏的精神，使人心惶惶的连队稳定下来，阻止了开小差的人的逃跑。1918年9月，D连在圣米耶勒参加战斗。同年9月到11月，又参加了默兹—阿尔贡战役1918年11月11日是一战的“停战日”，就在停战前的最后几分钟，杜鲁门还指挥部队对凡尔登东北的一个村庄发射了这次战争的最后几发炮弹。
1918年12月，杜鲁门第一次来到了巴黎。在3天的时间里，他参观了音乐和杂耍的联合剧场“女神游乐厅”。他对音乐的高雅在那里被庸俗化感到十分愤慨，声称那里的节目是“令人厌恶的演出”。
从1917年8月到1919年5月，杜鲁门一直在炮兵团服役，从中尉升到了少校，最后在美国堪萨斯州赖利堡芬斯顿营以少校军衔退役，当时已35岁。
在整个一战的过程中，杜鲁门既没有受伤，也没有获任何奖励。但他在军中结交了一些好朋友，并从战争中学到了许多东西。他后来把自己的成功的政治生涯归于战时服役和朋友们。
1919年6月28日，美国独立城的三一主教派教堂，刚刚退役的哈里·杜鲁门与相恋多年的伊丽沙白·“贝丝”·弗吉尼亚·华莱士终成眷属。这时，他35岁，而伊丽沙白是34岁。
杜鲁门与伊丽沙白的恋情是从小就开始的。伊丽沙白的父亲戴维·华莱士是一名地方官员，于1903年自杀身亡。而她本人则从小就长成了一个有男孩子气的女孩，打篮球、网球和棒球，参加铝球比赛，这些都引起了不能从事这些活动的杜鲁门的注意。他们是在主日学校认识的，当时他6岁，她5岁。从小学五年级开始，他们便是同班同学，而杜鲁门一直保持着对她的爱慕之意。
1913年，两个年青人开始正式的约会，这时伊丽沙白早已在堪萨斯城念完巴斯托女子进修学校，回到了独立城。作为求爱者，杜鲁门表现得很羞怯，他们1917年订婚，两年后结婚。在芝加哥和底特律度过了短暂的蜜月之后，他们回到了独立城定居。
伊丽沙白·华莱士对丈夫的工作给予了极大的支持。当杜鲁门后来作参议员时，她受雇作为他的秘书。
当杜鲁门作上总统职位之后，伊丽沙白没有像她的前任那样在政府中起积极作用，并中止了富兰克林·罗斯福的夫人埃莉诺·罗斯福首创的“第一夫人“记者招待会。她宁愿与来自密苏里州的老朋友们举办桥牌聚会，不愿像她后面的里根夫人、克林顿夫人那样惹人注目。1953年，她随退休的丈夫回到独立城，一直到1982年10月18日，因充血性心力衰竭而逝世，享年97岁，她是寿命最长的“第一夫人”。
不像西奥多·罗斯福、约翰·肯尼迪等总统，杜鲁门在婚姻问题上是特别严肃认真的。他从未发生过婚外恋，很多总统因绯闻而大失人心，而杜鲁门则保持了良好的生活作风。他与伊丽莎白的婚姻是“美满幸福的”。
沉浸在结婚幸福生活中的杜鲁门马上遇到了另一个非常棘手的问题，即：如何营生。
早在1915年，他就在开采铅锌矿的事业中投机过，1916年，在石油勘探投资上损失了一些资金。杜鲁门并不认为自己没有商业头脑，于是他首先选择了最流行的从商之路。
他与战友埃迪·雅各布在堪萨斯城合伙开了一家男子服饰用品商店。雅各布曾是杜鲁门在多尼芬营经营的小卖部的管理员。然而，这一次的合作并不顺利，商店最初生意兴隆，后来由于美国经济衰退的影响，加上杜鲁门不善经营管理和理财，商店最终关门大吉。为避免破产，杜鲁门从1922年起在12年中分期向债权人偿还了欠款，这次冒险损失了218万美元，而杜鲁门继续从商的信心也遭受了严重的打击。
正当杜鲁门穷困潦倒、走投无路的时候，他的战友将他引荐给了托马斯·彭德格斯特。彭德格斯特（1872—1945）在1910到1939年间被公认为堪萨斯城和密苏里州的民主党党魁，在政界颇有影响。但他的声名却很坏，被人们称作堪萨斯城黑社会集团的头子。他依仗金钱和权势组织一个选举机构，操纵当地民主党的选举，能把他看中的任何人抬出来作官。只要民主党在该州执政，全州重要官员的任命都要经过他的同意，因此，他培植了不少州长、议员和地方官员。当杜鲁门有志于探索政界道路时，彭德格斯特扶植了他，这也给杜鲁门以后的发展蒙上了一层阴影。
在彭德格斯特集团的支持下，杜鲁门在1922年底当选为密苏里州杰克逊县东区法官，相当于县行政官的职位。他在任期间，充分发挥自己的才能：努力消除浪费，减少县财政债务，修缮道路等，为当地市政建设作出了贡献，也赢得了市民的称赞。1924年，杜鲁门再次竞选东区法官失败，一度成为堪萨斯城汽车俱乐部的推荐会员，在那里他结识了许多该城重要人物。
为了弥补知识的不足，为进一步发展提供条件，杜鲁门在1923年进入堪萨斯城法学院学习了两年。成绩优良。
1926年，杜鲁门竞选县首席法官成功，并在四年后连任。在这期间，他积极搞城市建设，为修建公路、一个县老年医院和新的县政府所在地而发行债券。在进行工程承包过程中，他坚持竞争性投标原则；即：碰到花费巨额公款包工时，实行公开投标，并把全部价目公布出来，交给要价最低的投标者。这种作法推翻了他的前任们把工程交给那些他们特别喜欢的人开工的作法，考虑到了人民和纳税者的利益，得到了市民的拥护。他还坚持现场检查，及时修改不当的建筑措施。在搞城建的同时，他精简机构，从县发薪簿上去掉无用的人，限制财政的乱开支行为。
杜鲁门一系列的政绩使他赢得了群众的支持，在1929年，他已成为杰克逊县民主党人的领袖。同时，这段执政期间的磨炼，也为他以后从政的事业打下了基础。
1929年10月29日，美国纽约华尔街股市暴跌，美国持续的经济增长一下跌进低谷，资本主义世界持续时间最长、范围最广、破坏性最大的一次经济危机开始了。1930年，胡佛总统签署了斯穆特—霍利法案，猛提关税，从而加剧了美国与欧洲贸易对手尖锐的贸易壁垒战，也加速了世界贸易的急剧衰落。
美国国民生产总值在1929年为1040亿美元，到1932年下降到580亿美元；1933年，美国社会失业率达25%，1000多家银行倒闭。
就在经济危机发生的第二年，即1930年，杜鲁门被任命为堪萨斯城规划协会主席和全国城市规划联合会会长。这是他第一次担任全国性组织的职务，使他有机会对国家规划有所了解。而他所了解的更加深了他对经济危机中的美国的忧虑。
1932年11月，富兰克林·罗斯福击败赫伯特·胡佛当选为美国第32任总统，此后连任四届。在他就任总统之后，迅速开始了“百日新政”，首先整顿银行业，以稳定国内金融体系，支持社会信心。其次整顿农业生产，调整农产品生产规模和速度，以求供求平衡。
面临严峻的失业问题，罗斯福命令劳工部在各地建立就业局，指导和帮助就业。杜鲁门在1933年被罗斯福总统联邦紧急救济署吸收，担任密苏里州只象征性领取菲薄薪金的就业局局长。当时提出任命的佩金斯女士后来成为杜鲁门政府的劳工部部长。
就这样，从1922年到1934年初，杜鲁门在密苏里州杰克逊县努力工作了12年，由于他的谨慎和认真，他在任内声誉日隆。
1934年初，杜鲁门计划竞选县税收主任一职，但彭德格斯特已将这一肥缺让给了别人，杜鲁门非常失望。当时彭德格斯特正好在物色参议员候选人，决定让杜鲁门试一试，那时他已经50岁了。在彭德格斯特集团的支持下，杜鲁门在1934年11月作为民主党人从密苏里州被选进参议院，由此，他正式跨进了美国国家权力核心机构的大门，开始了新的征途。
影响杜鲁门在参议院地位和声誉的，是他与彭德格斯特集团的关系。当时参议院中就有人揭发他们在地方选举中弄虚作假，把杜鲁门“送”进了参议院，并称杜鲁门为“彭德格斯特袖子里的参仪员”。这些损害了他在参议院中的形象。
对和彭德格斯集团的关系，杜鲁门是直言不讳的：“在密苏里州，没有他们支持，根本无法参加竞选。“尽管这个集团在政治上一直在提拔他，他却始终避免参与该集团的声名狼藉的活动，不去营私舞弊。“彭德格斯特从未要求我做过一件不光彩的事，”他后来回忆说，“他知道，即使我被要求去做，我也不会同意的。”在个人关系上，两个人还是不错的。在彭德格斯特因向大公司索要巨款、逃税等罪名而锒铛入狱后，杜鲁门为报答他的提携之恩，照顾过他的子女。
在参议院中，许多人都瞧不起杜鲁门，于是他暗下决心，从头学起。他对分配的事不分大小，都认真去作。他每逢会议必然参加，并对所有的发言和文件都仔细倾听、阅读，在掌握不少情况的同时，锻炼了政治敏感性。他在会上的发言不多，但都经过仔细的琢磨，因而言之有物，开始引起人们的注意。他还注意仪表举止，被人评为参议员中十个最讲究服饰的人之一。
杜鲁门在参议员中十分注意与人的交往。其中特别值得一提的是民主党的党魁罗伯特·汉尼根。汉尼根后来担任了民主党全国委员会主席，主持民主党选举的许多重要事务。后来杜鲁门被提名副总统也是他的功劳。
正当杜鲁门第一任参议员年限将近时，爆发了第二次世界大战。1939年9月1日，德国军队突袭波兰，揭开了二战的序幕。接着法西斯的铁蹄横扫北欧、南欧和西欧。美国在二战初仍保持了中立的态度。但1939年9月21日，罗斯福总统提出了废除1937年“中立法案”的提案，并于11月4日得以通过，这就允许美国向交战国出售武器，美国实际上站到了反对德国的一边。
1940年，美国国内就是否参战问题展开了大辩论。就在这场辩论声中，杜鲁门再次当选参议员。虽然有人指责他是民主党中的应声虫、旧式政治上的投赞成票者，但更多的人则赞赏他刚正的天性、对于组织的忠诚和实干的作风。1941年1月，罗斯福总统提出了“租借法案”，向英法等受纳粹德国侵略的国家提供武器，杜鲁门在参议院投了赞成票。
1941年是个多事之秋。6月22日，德国突袭苏联，苏德战争爆发。8月9日，美苏首脑“大西洋会晤”，决心共同反击纳粹，12月7日，日军偷袭美国海军基地——珍珠港，美国对日宣战，正式卷入二战。时为参议员的杜鲁门完全赞同美国的参战。
为了作好战争保障工作，美国国内进入战时的政治经济状态。为了对付国防工业预算中的严重浪费，参议院成立了以杜鲁门为主席的国防计划调查委员会。杜鲁门在担任这一职务期间，工作认真负责，每周至少访晤总统一次，谈委员会的工作，可惜会晤没有记录。在和马歇尔将军、陆军部长史汀生等会晤时情况也如此。以这种方式，杜鲁门逐渐深入了解了这些卓越人物。
杜鲁门领导的委员会在反贪肃贪、打击浪费和营私舞弊方面作出了成就，受到人们普遍关注。1941年1月16日，罗斯福试图实行全面经济动员，创立战时生产局，由唐纳德·纳尔逊任局长，对国内经济战线进行领导。但纳尔逊继续听任军事部门掌握优先分配资源之权，结果他从来也没有确立起坚强的体制，让各大公司实际垄断了生产。杜鲁门的委员会调查了此事并公诸于众，引起了强烈反响。他甚至一度对田纳西州和华盛顿一些巨大的军用建筑物进行调查，差一点揭穿了美国正在研制原子弹的秘密，在史汀生部长的劝说下，他才停止了调查。
1944年春，罗斯福准备第四次总统的竞选时，民主党内在副总统人选上发生了分歧。一派主张由副总统华莱士连任，另一派提出由国务卿贝尔纳斯担任，双方都不肯让步。罗斯福总统倾向于副总统为亨利·华莱士，但在民主党党魁们的压力下作出了让步，放弃了华莱士。
这时，罗伯特·汉尼根提出了政治色彩不浓、没有明确派别倾向的哈里·杜鲁门作为副总统候选人。因为杜鲁门在担任参议员期间一贯支持总统的决定和政策，并且在任国防计划特别调查委员会主席时工作成绩卓著，（在1941—1944年间披露了军事联合工业企业的高达150亿美元的浪费行为，）所以，杜鲁门的提名被作为妥协方案接受了。但杜鲁门本人却不愿接受这一职务，他一直犹豫不决，因为副总统的职位形同虚设，只要总统在，它就没有实际权力。直到罗斯福宣布参加竞选的前一天晚上，杜鲁门还未决定。于是罗斯福打电话警告他，“如果他（杜鲁门）希望在战争期间分裂民主党，那就是他的责任，”于是，杜鲁门被迫接受了副总统的提名，并在第二轮投票中当选，1945年3月上任。
作为副总统的短暂的82天中，杜鲁门很少参加内阁会议，因为总统经常在国外，即使被邀请参加，也不会讨论什么重大问题，因为总统在会前或会后会召集个别阁员进行讨论。因此，杜鲁门实际未参加多少国家政策的决策，甚至连研制原子弹的计划都不知道。他只是经常参加由总统召集的所谓“四巨头”会议，即副总统、众议院议长、众议院多数党领袖和参议院多数党领袖。他们谈论国家重要事务，但没有任何决策权。
按照美国《宪法》规定，副总统同时兼任参议院议长，在这个职位上，杜鲁门设法使参议院通过了对亨利·华莱士的商务部长的任命。
就在杜鲁门担任副总统的最后几天内，他的关键一票挽救了罗斯福的“租借法案”。租借法案于1941年1月通过，后经两次延长，1945年4月，它面临第三次延长问题。共和党在第三次延长时提出了一项修正案，有可能阻止总统利用该法案计划作为善后救济（恢复和重建）的合同。该修正案表决时，出现了票数相同的情况：39票赞成，39票反对。于是作为参议长的杜鲁门有权投出关键一票，他投票反对该修正案，从而维护了租借法案。4月10日，租借法案的延长经过参议院批准。
杜鲁门不情愿地当上了副总统，正当他感到“英雄无用武之地”时，机遇又出现了，他被推向了个人权力的顶峰。这虽然是一个偶然，但他个人长期的政治积淀，他对工作的一丝不苟，使他获得了拥有这个“偶然”的机会。他的总统生涯的帷幕就要拉开了。
