后来，太宗的车驾前往洛阳，住在昭仁宫里，对当地官员多有责备。魏征进谏道：“隋朝只责备地方官不进献美食佳肴，或者是供应的物品不够精美，为此而没有节制，最终导致国家灭亡。所以上天让陛下取而代之，正应该小心谨慎，告诫自己，怎么可以责备供应不够奢侈呢！如果您认为供应充足，现在就很充足了，如果认为不充足，比这多出一万倍仍然不会觉得满足。”太宗吃惊地说：“没有你，我就听不到这些话。”太宗大宴群臣于积翠池，一起喝酒取乐，并赋诗言志。魏征作《西汉》一诗，其最后一章说：“最后依靠叔孙通制定礼仪，汉高祖才知道皇帝的尊严。”太宗说：“魏征开口说话，没有不用礼来约束我的。”后来有一天，太宗心平气和地询问魏征：“近来国家的施政怎么样？”魏征见国家长期太平，太宗的思想也有点麻痹，便回答道：“在贞观初年，陛下诱导臣子们进谏。三年过后，遇到进谏还能乐意听从。近一两年来，陛下接受进谏时很勉强，而且心里还愤愤不平。”太宗很惊讶地问：“你这么说有什么根据吗？”魏征答道：“陛下刚登基时，判决元律师死刑，孙伏伽进谏言，认为依法不应判他死罪，陛下将原来兰陵公主的花园赏给他，价值有一百万钱。有人说：‘赏赐太厚了。’陛下回答：‘我即位以后，还没有人进谏，所以要重赏他。’这便是陛下诱导臣子进谏。后来柳雄对在隋朝所任官职信口开河，被有关部门知道后，弹劾他作假，判决他死罪。戴胄上奏认为，柳雄所犯的罪只够判他流放，为此他接连上奏四五次，陛下才予以赦免，并告诉戴胄：‘如果都像你这么认真遵守法律，国家就不用担心会滥用刑罚了。’这就是高兴地纳谏。近来，皇甫德参上书，认为：‘修建洛阳宫，使百姓受苦；征收地租，是加重赋税；世人喜欢梳高髻，是受到宫里的影响。’陛下大怒，说：‘要国家不役使一个男丁，不征收任何赋税，宫女都没有头发，他才满意。’臣当时上奏：‘臣下上书言事，言辞不尖锐就无法打动君主，一旦言辞尖锐就与诽谤接近。’虽然陛下当时听了我的话，赐给皇甫德参丝帛，并不再追究皇甫德参的罪过，但心里始终愤愤不平。这就是勉强接受进谏了。”太宗这才醒悟，说：“不是你，谁能讲出这样的话。人苦于不能自己了解自己啊！”有一天，大宴群臣时，太宗说：“贞观以前，跟着我平定天下，四处奔波，是房玄龄的功绩。贞观以后，进献忠言，纠正我的过失，为国家寻求长远利益，魏征的功劳最大。即使是古代的名臣，也比不上他们！”太宗亲自解下佩刀，赏赐给他们两人。太宗曾经问群臣：“魏征和诸葛亮哪一个贤能？”岑文本说：“诸葛亮兼有将军和宰相的才能，不是魏征可以比的。”太宗说道：“魏征亲身履行仁义，以此辅佐我，想使我成为尧、舜那样的圣君，即使是陪葛亮也比不上他。”当时上书的人很多，有的不符合实际情况，太宗有点厌烦，想加以驳斥，魏征进谏：“古代专门设立榜木，以了解自己的过失。密封上书，大概就是榜木的遗意吧！陛下想了解施政的得失，应当让他们畅所欲言。说的对，对国家有利，说的不对，也无损于朝廷政事。”太宗听后很高兴，对上书的人全都加以慰问并送他们离去。
平定高昌后，太宗在两仪殿大宴群臣，叹息道：“如果高昌国王自己不丧失德行，国家哪能灭亡！但我也要告诫自己，不要因为小人进言而非议君子，大概就能国家安定了！”魏征说：“过去齐桓公与管仲、鲍叔牙二、宁戚四个人一起饮酒，齐桓公问鲍叔牙：‘为什么不站起来给我祝酒？’鲍叔牙捧着杯子站起来说：‘希望您不要忘记以前在莒国逃亡的日子，希望管仲不要忘了被囚禁在鲁国的日子，愿宁戚不要忘了在车下喂牛的日子。’齐桓公离开座位，向鲍叔牙致谢道：‘我与两位大夫要是能不忘记你的话，国家就不会危险了！’”太宗说：“我不敢忘记自己只是一个平民的日子，您也不能忘记鲍叔牙的为人。”太宗派使臣去西域册立西突厥叶护可汗，使臣还没回来，太宗又派使者携带着金银、布帛前往西域各国买马。魏征劝谏道：“现在册立可汗一事还没确定下来，就派人去各国买马，他们一定会认为陛下的目的是买马，而不是册立可汗。可汗即使被册立，也不会感激陛下的恩德。各个属国知道此事后，就会认为中国重利轻义；马不一定买得到就先丧失了大义。过去魏文帝想求购西域的大珠，苏则认为如果皇恩遍及四海，那么宝物就会不求自来；求购来的东西，不值得珍惜。陛下能不怕像苏则这样的议论吗？”太宗于是停止派人去西域各国买马。此后不久，尚书右仆射一职空缺，太宗想用魏征，魏征推辞，没有担任这一职务。皇太子李承乾与魏王李泰互相结仇，太宗说：“当今朝臣里讲忠道、尊贵，没有人超得过魏征，我命他去辅佐皇太子，使得天下人的期望统一起来，皇太子的羽翼就会坚固起来。”于是，太宗拜他为太子太师。魏征以生病为由推辞这个职务，太宗下诏说：“西汉的太子靠着‘南山四皓’的辅佐，我依靠您，也是同一个意思。您即使是卧病在床，也可以保全皇太子。”贞观十七年（公元643年），魏征的病情加重。魏征家起初连正寝都没有，太宗命令暂时停止营建小殿，先将小殿的木材为魏征修建正寝，仅用五天时间就完工了。又赐给魏征素褥布被，以遵从他崇尚简朴的意愿。命中郎将在魏征家里值班，一有什么情况立即报告给太宗。所赐的药品、膳食不计其数，宫中的使者络绎不绝。太宗亲自到他家问候疾病，又摒退了左右，交谈了整整一天才回宫。后来，太宗又与皇太子一起来到魏征家中，魏征加盖着朝服，拖着腰带。太宗冯非常悲痛、郁闷，一边抚摸着他，一边流泪，并问他有什么要求。魏征回答：“寡妇不担心纬线的多少，而担心宗周的安危！”太宗准备把衡山公主嫁给魏征的儿子魏叔玉，当时衡山公主也随从太宗来了，太宗指着她说：“您勉强看一看新媳妇吧！”魏征连道谢的话也说不出来了。这天夜里，太宗梦见了魏征和平常一样。等到天亮时，魏征逝世了。太宗亲自前往哭吊，为之悲痛不已，并停止朝会五天。皇太子李承乾也在西华堂为魏征举哀。太宗下诏，命文武百官和各州的朝集使都去为他送葬，追赠他为司空，相州都督，谥号为“文贞”，赐给羽葆、鼓吹、班剑四十人，命将他陪葬于昭陵。将要下葬时，魏征的妻子裴氏推辞道：“魏征平时很节俭，现在用一品官的礼节来安葬，所用的仪仗、器物太多，恐怕不符合他的本意。”太宗就同意了她的请求，于是用素车载着魏征的棺材，用白布作帷幔，不用涂车、草人、草马等物。太宗登上了禁苑的西楼，遥望着他的灵车痛哭尽哀。晋王李治奉太宗的命令在路边设食致祭。太宗亲自为魏征书写碑文。又赐给魏征一家封邑九百户。
太宗后来临朝时叹道：“以铜作镜子，可以使衣冠整齐；以过去的历史作为镜子，可以了解王朝的兴衰和更替；以贤人作为镜子，可以明白施政的得失。我曾经拥有这三面镜子，防止自己的过失。现在魏征去世了，我就少了一面镜子。我近来派人去他家，得到了一张写过字的纸，仅写了一半，其中可以辨认的部分如下：‘天下的人，有好也有坏，任用好人则天下太平，任用坏人则国家衰败。在公卿大臣之间，感情有喜爱也有憎恶，憎恶的人只见到可恨之处，喜爱的人只看到可爱之处。爱和恨之间，应当谨慎小心地对待。如果爱一个人又知道他的缺陷，恨一个人又知道他的优点，除去邪恶时不犹豫，任用贤人时不猜忌，国家就能兴旺了。’其大概意思就是这样。我反复思考，恐怕难以避免犯选样的错误。公卿大臣和左右近臣可以把这句话写在朝板上，知道这样的错误一定要进谏。”魏征的身材、面貌与一般人差不多，但很有志气和胆略，每次犯颜直谏，即使遇到了太宗很生气，他的神色依旧不变，最后连太宗也为此收敛了神威。评论的人说，讲勇气，孟贲、夏青也比不上他。有一次，魏征去上冢墓，回来后奏道：“近来听说陛下要去关南，已经准备好了却又停了下来，这是为什么？”太宗说“怕你会进谏，我便中止了此行。”天下大乱之后，典章书籍散失了不少。魏征便上奏推荐一批儒生来收集和校正国家藏书，使得国家的典籍文献完备起来。他还曾因为《小戴礼》一书综合汇录时很混乱，因此重新编写了《类礼》二十篇，花了几年的功夫才完成。太宗对这本书称赞不已，命令誊录后送交内府保存。太宗原本凭借武力平定天下，天下虽然已经得到治理，但仍不忘经略四周的少数民族。因此，魏征每次陪太宗参加宴会，在演奏《破阵武德舞》时，他就低头不看；演至《庆善乐》时，他就细心欣赏、玩味，不知疲倦，都是寓托若讽谏之意。
魏征去世后，太宗十分思念。登上凌烟阁观看功臣图像时，他还曾赋诗沉痛悼念。有的人听说这件事后妒忌心大发，对魏征百般诋毁。魏征过去曾推荐过侯君集、杜正伦，认为他们的才能可以担任宰相，等到杜正伦有罪被免职，侯君集参加谋反被杀后，就有小人指责魏征与恶人亲近；又说魏征曾将自己前后进谏的话记下来，交给史官褚遂良看。太宗因此对魏征更加不满，便中止衡山公主与魏叔玉的婚事，将自己为魏征所写的碑文推倒，魏征一家逐渐衰落下去。
太宗后来出征高丽时，高丽、靺鞨的军队进犯唐军阵营，李勣等人拼命死战才击败敌军。大军回师后，太宗神情迷惘地说：“魏征如果还在的话，我还会发动这场战争吗？”于是，太宗立即将魏征的家人召到自己的行宫，以少牢的礼节来祭祀魏征之墓，并重新树起石碑，恩遇和礼节更为隆重。
