皇长子李琮的生母刘华妃，身世事迹史书上没有记载，可见并不得宠。而且，李琮本人在打猎时被野兽抓伤破相，不适宜当太子。开元二年（714），次子李瑛被立为太子。李瑛的生母赵丽妃，容貌美丽，能歌善舞，是玄宗李隆基称帝前在潞州任职时所纳。李隆基特别喜欢音乐歌舞，对赵丽妃深受宠爱。李瑛能立为太子，正是子以母贵，母宠而立其子。李隆基的皇后王氏，生于官宦人家，曾参预李隆基发动的宫廷事变，两人可谓患难夫妻。不幸的是，王皇后一直不育。于是，她将李隆基另一个妃子杨氏所生的儿子（即肃宗李亨，排行老三）领养过来，关怀慈爱，如同亲生。但册立太子时，王皇后的心愿却未能实现。这使得王皇后心中常怀不安，对李隆基称帝后宠爱武惠妃也是愤然不平，时有牢骚。李隆基内心不悦，但因王皇后处事谨慎，待下有恩，一时不便废掉。王皇后之兄王守一见妹妹失宠，便暗请僧人明悟为之祈神求子，并画写木符佩戴于身。这种迷信做法，在古代属于皇帝最为忌讳的。开元十二年（724）7月，此事被人告发，李隆基立即下令废王皇后为庶人，贬入冷宫。王守一被贬官赐死。10月，王氏忧郁而死，之后，武惠妃得宠。她是武则天的侄孙女，与李隆基是表兄妹，从小在宫中长大，十五六岁时被纳为妃子。武惠妃颇能生育，生二子一女，接连天亡。及至寿王李瑁出生，李隆基让送到大哥宁王府中抚养。李瑁在皇子中排行为十八。
武惠妃虽没有皇后头衔，而礼遇实同皇后。寿王长大后深受李隆基钟爱，非其他皇子所能比。开元十四年（726），李隆基想立武惠妃为皇后，但遭到朝臣的反对：
“武氏乃不共戴天之仇，其后代岂能为国母！”李隆基心里明白，若强行其事，就会引起政局波动，其因是祖母武则天代唐为周留下的政治阴影太深。十年光景又过。
这时太子李瑛已近30岁。另外两个皇子老五鄂王李瑶，老八光王李琚，都富有才识，得到父皇喜爱。这哥仨的生母，都已被父皇疏远。因此遇到一起时，总免不了发泄几句埋怨牢骚话儿。而武惠妃早就指使她的女婿、咸宜公主的驸马杨洄暗中监视太子等人。开元二十四年（726）岁末，太子等人相聚，被杨洄探知后密告武惠妃。
于是，武惠妃向李隆基哭诉道：“太子他们私下勾结，企图加害臣妾母子，他们还大胆指责陛下。”李隆基听了大怒，立即召来宰相张九龄、裴耀卿、李林甫，商议废掉太子之事。
张九龄忠耿正直。他明白玄宗李隆基的心思。他坚持说道：“陛下三子都已成人，未闻有过大的错失，为何要听信传言，凭一时喜怒而废掉？太子关系国家根本，切不可轻易动摇！”李林甫这时的地位，排在张九龄之下，当着李隆基的面，他没有明确表态，但退朝后却对高力士说：“这是陛下的家事，何必问外人。”张九龄之所以阳奉阴违，早已暗中巴结武惠妃，表示愿意尽力扶持寿王。武惠妃得知张九龄态度坚决，悄悄派宫奴牛贵儿前去拉拢疏通。张九龄将牛贵儿大骂之后赶出家门，立即面奏李隆基。李隆基深受感动，废立太子的风波暂时停止。
不久，张九龄和裴耀卿相继被借故罢免，由李林甫接替了张九龄的职位。开元二十五年（737）4月，武惠妃又指使杨洄诬告太子等人企图谋反，李隆基再次召宰相商议。这回李林甫还是那句老话：“这是陛下的家事，非臣等所宜干预。”这促使李隆基最终横下决心，立即派宦官于宫中宣旨：将太子及鄂、光二王废为庶人。随即，将这三个亲生儿子赐死于京城东驿。
“三庶人”事件之后，武惠妃总是恶梦缠身，心惊胆战，恐惧成疾。李隆基命巫士于宫中祈神驱鬼，仍无济于事。12月，武惠妃暴病身亡，享年只有39岁。
武惠妃死后，李林甫几次劝李隆基立寿王为太子，李隆基犹豫不决，一拖就是半年多。
开元二十六年（738）5月，54岁的李隆基心力交瘁，愁容满面。谨慎机灵的高力士觉得是自己发言的时候了，便道：“陛下寝食不宁，是否因膳食不合口味？”
李隆基长叹一声道：“力士，你是朕的老奴，难道也不明白朕的心思！”
高力士忙道：“陛下忧心伤神，可是为太子的人选？”
李隆基说：“是啊，是啊。”
力士又道：“陛下何必如此虚劳圣心，推长而立，谁还会有异议！”
李隆基听了高力士的话，有所醒悟地说：“你说得对，你说得对。”顿时他愁容舒展，定下了主意。三皇子忠王李亨被立为太子。一场宫闱废兴的轩然风波在6月终于平息下来。
在太子废立一事上，高力士表现出与李林甫不同的性格特点。李林甫善于察言观色，揣测皇上的心意，专以阿谀逢迎为能事，处处将个人权位得失置于国家安危之上。高力士也是善于顺从李隆基心意，但他却是“顺而不谀，谏而不犯”，很会选择时机提出有益的意见，遇到李隆基不高兴时，便不去犯颜进谏。废立太子，高力士的建议最终起了作用，这反映内朝宦官与外朝宰相之间相互抵制争夺，统治集团内部的互相倾轧。出现分歧斗争，明争暗斗愈演愈烈逐步转入恶化状况。
李隆基当政的开元、天宝之际，是唐朝开国百年来最繁盛的时期。当时的米价，长安和洛阳两地是一石（120斤）不到200钱。行人万里远途，不用带兵器，路不拾遗，夜不闭户，商旅野宿，社会安定，风俗淳厚。京城和各地州县的仓库中，都存满着粮米布帛。诗人杜甫就生活在这个时期，对当时社会的兴旺繁荣景象，他是目睹耳闻过的。在《忆昔》诗中，杜甫曾赞美道：
忆昔开元全盛日，小邑犹藏万家室。
稻米流脂粟米白，公私仓廪俱丰实。
九州道路无豺虎，远行不劳吉日出。
齐纨鲁缟车班班，男耕女桑不相失。
李隆基在天下大治，欣欣向荣的太平盛世面前，并不是百尺竿头再进步，而是陶醉骄傲了，忧患意识松懈。
随着年岁增高，进取求治的精神日渐衰退。开元后期，他倦于日理万机，将朝政事务交给宰相李林甫，自己懒得上朝听政。
李隆基作为皇帝，可主宰天下。作为人，难免生老病死。乞求长生不老的心愿，是每个皇帝都孜孜不忘的。
李隆基即位之初，求治心切，思慕长生。史书记载李隆基精通医药，讲求养身之道。他是热衷于江湖方士的养生术和仙药。
李隆基在开元二十二年（734）时，行幸洛阳，将著名的方士张果召入宫中，礼遇很重。此后，李隆基对神仙一类荒诞事情颇为相信，带头搞崇道的热潮。全国各地新修了许多道观，方士道人成为皇宫中的座上宾；道教的始祖老子（春秋时思想家李耳）被追尊为“玄元皇帝”，老子及李隆基本人的“真容”画像、玉雕像、铜铸像，供奉于全国各地的道观里，受人膜拜。笃信神仙，由明而昏，导致荒政误国，这是玄宗李隆基从开元后期所走的一条昏庸之途。他醉心于炼丹、礼拜，每天四更起床，对老子像焚香顶礼。兴庆宫中设有道坛，各地名山中有道士和宦官立灶炼丹，祈求苍天使他“圣寿延长”，意味着他已把享乐养生放到了国事之上。自从开元二十四年（736）10月李隆基从洛阳返回长安后，便不复东幸。十年后的一天，李隆基在大同殿思念神仙道术，只高力士一人侍奉在侧。李隆基问：“朕安居长安一晃十年了，百姓丰足安乐，朝廷内外无事。朕想居于金殿之上，修学道家吐故纳新的养生之术，军国事务，全凭李林甫作主处理，你觉得如何？”
高力士叩头答道：“这些年来，陛下多次赐酒给臣，因而纵饮过度，患了风疾，时常言语错乱，多有失礼之处，所以不敢谈论国家朝政。陛下不以臣微贱，向臣垂询，我心里想启奏，但恐对陛下没有什么补助。不过，就我所了解到的，不能不尽忠上言。臣以为，军国大权，不可轻易全委别人。如果有人威权太重，朝廷内外人人惧怕的话，那么，朝政的得失，还会有谁敢上言议论呢？望陛下深思。”
李隆基面有不悦之色，说道：“十年来你对朝政没有多说话。今天说的这些，不合朕的心意。”
高力士急忙又叩头道：“臣常想如何尽心效忠，报答皇恩。方才说的话是些胡言乱语，都因风疾困扰，所以言语颠三倒四。臣未能领会陛下心意，罪该万死，顿首顿首。”
李隆基见力士惶恐不安，抚慰道：“朕和你休戚与共，不必为这点小事忧心害怕。来人，立即摆设酒宴，演奏歌舞，不要让高将军心里忧虑。”高力士拜伏谢恩，连呼“万岁！万岁！”以后，高力士再很少进谏，只是朝夕在宫内陪伴侍奉李隆基的起居生活。
李林甫执掌朝政后，当权行事，斥逐异己，口蜜腹剑。由于皇太子不是他支持拥立的，便屡次兴起狱案，企图动摇太子地位。朝臣中有御吏中丞杨慎矜、户部郎中王珙、酷吏吉温、罗希奭等人，阿从李林甫，充当爪牙。先后被李林甫一伙借故贬官害死的人中，有皇太子妃之兄户部尚书韦坚、太子少保李适之、皇太子的儿时伙伴，身兼河西、陇右节度使的王忠嗣等。李林甫病死之后，杨国忠接任其职。他是李隆基宠爱的杨贵妃的本家堂兄，是靠裙带关系而暴发的权贵。杨国忠浅浮轻躁，不顾国家前途和身后名声，只图眼前快活。他一身兼任四十余职，权势熏天。天宝十载（751）和十三载（754），杨国忠主持官军讨击南诏的战事，损兵折将达20万众，但他却假造捷报上奏蒙骗李隆基，一面继续派兵南征。
杨国忠恃宠擅权，肆无忌惮，朝臣人人自危，敢怒而不敢言。李隆基深居内宫，求神学仙的李隆基被蒙在鼓里，不知外情，还在沾沾自得。对高力士说：“朕渐渐老了，心力有限。朝廷事务，交给宰相；边疆军情，由节度使处理。如此太平无事，朕感到悠闲自在，你说怎么样？”
高力士回奏道：“这些年来臣住在宫内，听不到外面的议论。近日我在宫门外见到各地来京奏事的人，听他们说，云南的战事接连失利。陛下想到如何抵御南诏吗？北部边疆节度使权力太大，兵力强盛。陛下想过如何控制他们吗？凭皇上无比的威势和浩荡的恩泽，足以消灭异族的入侵，平息可能发生的变乱。至于其余的小事，就更不值一提。我担心长期这样下去，对意外变故不做防备，等到那时才去禁止，就太困难了？”
李隆基听罢点点头说：“看来我的病情近来好多了，你说的话，很合朕的心意。朕对这些事也有疑虑，所以才问你。你千万不要说出去，防止泄露。等到合适的机会，朕会调整改变。”
高力士伏地叩头回答道：“陛下英明神武，臣鲁钝无知，臣的话能合圣上的心意，就感到无比快慰。”
天宝十三载（754）秋天，阴雨连续两月不止，长安的房屋大量倒塌；洛阳河水暴涨，淹没了十几个坊区。
庄稼受灾，李隆基心中忧患不已。而杨国忠却派人选取一些受灾较轻的禾苗，送给李隆基观看，并上奏说：“雨水虽多，但没有危害庄稼，请陛下不必过分忧劳。”与此同时，他又压制地方官员不许报灾。扶凤太守房房上奏报告辖区灾情，杨国忠立即派御史去整治，吓得其他州县长官都不敢如实言灾。但是，久雨不晴，杨国忠也没有遮天的本领，李隆基即使再昏头，也不会没有察觉。
在高力士一人陪伴的时候问：“从天宝十载以来，朕有几次对朝政心生疑虑，现在果然出现了天灾，使百姓们遭殃。左相陈希烈已被免职，由韦见素接任。李林甫、杨国忠处理政务的方法各不相同，但始终不太合朕的心意。你总是不肯对我明言，你是怎么想的呢？”
高力士这一次感到可以畅所欲言了，他说出久蓄于心的话：“开元二十年以前，陛下授于宰相职权，但一直亲自处理朝政，不使宰相专权行事。边疆大将接受任命，都是尽职效力。自从陛下将威权都委托给宰相以后，便搞得法令不能很好施行，灾害异常每年都有发生，天时不顺。纵然陛下经常深为忧虑，但天下总是难免不安。臣一直不敢多说话，早就大有原委的。”高力士的话，李隆基听后沉默了许久，没有再问下去。
唐玄宗李隆基晚年所干的荒唐昏暴事情中，留给后世的责议最多的是专宠杨贵妃。
杨贵妃小名玉环，生于四川，父亲是一名品级不高的地方官员。她10岁时，父亲去世，由在洛阳任小官员的叔父抚养长大，17岁时，被选册为寿王李瑁的妃子。
李隆基开元二十五年（737），宫闱废立，一日杀三子。不久，武惠妃病亡。这场亲父杀子的风波，使李隆基心绪懊恼异常，直到立忠王为太子，才算去掉了一块大心病。李隆基在感情上所受打击可谓沉重，但伤天害理却是自己所为，恶果自种又自食，使他的精神状况急转直下，几年不能振作，心情郁郁寡欢。
内心孤独，感情空虚的李隆基，一想做个长生不死的方外神仙，又丢不开俗世皇帝的威权和享乐。繁忙的朝政令他心中厌倦；京城内外的名胜游乐之地也已兴味索然；武惠妃去世留下的感情空缺无人能够弥补，后宫粉黛成千上万，没有一个赏心中意。从小酷爱伎乐，精通音律的李隆基，此时虽已是五十多岁的老翁，一双眼睛却仍在寻觅国色天香，召至身边侍奉承恩。
