乾道二年（1166年），陆游移居绍兴城南镜湖之滨的三山：“忆自南昌返故乡，移家来就镜湖凉。”从此，陆游便定居于此，过着赋闲的生活。主和派的排斥，使陆游失去了为国效命的机会，他的心情十分苦闷。但陆游扪心自问，自己的言行光明正大，是为了国家的统一而奋斗，这又有什么过错呢？面对投降派的打击，陆游没有屈服，纱帽可以不戴，但嘴是无论如何也封不住的。投降派误国误民，虽然猖狂一时，但不会长久，不会有好下场，陆游对这些人投以鄙夷的目光：
十月江南未拥炉，痴蝇扰扰莫嫌渠。
细看岂是坚牢物，付与清霜为扫除。
——《十月苦蝇》
陆游在闲居期间，除了读书吟诗之外，也常投身到农村和大自然的怀抱中，他对故乡美丽的湖山风光和淳朴的民风民俗的感情越来越深。诗人以喜悦的心情和轻快的笔调描绘了一幅幅江南农村风情画：
莫笑农家腊酒浑，丰年留客足鸡豚。
山重水复疑无路，柳暗花明又一村。
萧鼓追随春社近，衣冠简朴古风存。
从今若许闲乘月，拄杖无时夜叩门。
——《游山西村》
转眼之间，四年过去了，陆游的子女渐渐长大，家庭负担越来越重，生活逐渐陷入贫困中，以至于靠野菜度日。在这种情况下，陆游没有别的出路，只希望得到一官半职，解决眼前的困难，同时也可以借此寻求立功报国的机会。
乾道五年（1169年）十二月六日，朝廷任命陆游为夔州（今四川奉节）通判，虽然被派到遥远偏僻的地方，陆游还是决定再次踏上坎坷不平的仕途。乾道六年（1170年）初夏，一个天气晴和的日子，陆游带着家眷离开故乡山阴，前往临安，又经运河入长江，溯流西上，途经江苏、安徽、江西、湖北、湖南，于十二月二十七日到达四川夔州。一路上，诗人游览山川名胜，凭吊历史古迹，观察地理形势，了解民情风俗，这些都丰富了诗人的见闻，使他增长了知识，对他的诗歌创作是有着积极意义的。不久之后，陆游将这半年多的旅途生活，以日记的形式加以整理，写成了一部《入蜀记》，文字优美，保存了很多有价值的历史地理资料。
陆游在夔州的官职是左奉议郎通判军州主管学事兼管内劝农事，实际上仍是一名无足轻重的闲官。诗人远离故乡，僻处山城，交游稀少，难免有漂泊寂寞之感，加之强敌未灭，国耻未雪，壮志难酬，由此感到悲愤惆怅。不管走到哪里，陆游总是不忘国事，甚至在梦中都为国家的复兴出谋划策：
梦里都忘困晚途，纵横草疏论迁都。
不知尽挽银河水，洗得平生习气无？
——《记梦》
可见，陆游虽然曾因关心国事而一再遭到排斥和打击，但要他改变自己的态度和习惯却是不可能的。诗人在寂寞苦闷中，常常登山临水，在峰顶峡谷中寄托自己的情怀。恰巧的是，夔州是唐代大诗人杜甫晚年曾经寄居之地，有很多杜甫的遗迹。陆游在公务之余，常常来到杜甫的故居，凭吊这位爱国的诗人。对杜甫的推崇，也促进了陆游诗歌艺术水平的提高。
乾道七年（1171年），陆游得了场大病，过了四十多天才痊愈，夔州的薪俸本来不多，加上任期快满，生活又陷入了贫困之中。他不得不考虑未来的生活，或是筹措路费回家，或是另谋一个职位。在陆游举棋不定的时候，传来了一个好消息：王炎出任四川宣抚使，并邀他到南郑的幕府中工作。陆游十分高兴，不等夔州任满便准备启程去赴新任，一年多的夔州生活就这样匆匆结束了。
