李隆基的晚年，是王小二过年，一年不如一年，自从赐死杨贵妃后，李隆基与以前的生活相比，简直是一个天上，一个地下，但是，这一切都是他自己”作“出来的。
安史之乱的关键之战——潼关大战，由于李隆基的瞎指挥，不但丢了长安，就连败象显露的安史叛军就像打了鸡血一般复活了，风光无限的李隆基只好踏上逃亡之路，一眨眼从天堂到地狱。
到了马嵬坡，疲惫不堪的将士们不干了，砍了杨国忠的脑袋，逼李隆基杀了杨贵妃，用老婆换太平，兵变之后，太子李亨带着一部分禁军北趋灵武，唐玄宗则直奔成都，结果到了成都的第14天，灵武使者就送来了唐肃宗李亨即位的消息，如同晴天霹雳直接把唐玄宗打的晕头转向，事已至此，有自知之明的唐玄宗只好表态支持，”吾儿应天顺人，吾复何忧！“昭告天下传位李亨。
对于一辈子霸气侧漏的唐玄宗来说，这个宝座让的事心不甘情不愿，他颁布了《命皇太子即皇帝位诏》，诏书中说，自己尽管是太上皇，但是唐肃宗在处理国家大事的后必须向他报告，等到夺回长安，再用正式的诏书来确定太子的皇位，开创大唐盛世的唐玄宗还不甘心就此退出历史舞台。
但是，事情并不像他想的那样，诏书一下，他就成了大唐的局外人，李亨送来的都是平叛的好消息，这也为他失落的心里带来些许的安慰。
至德二年（757年），长安终于回到唐军手中，唐肃宗李亨进驻长安的当天，唐玄宗带着高力士、陈玄礼，还有600禁军北上返回长安。
队伍刚走到凤翔，唐肃宗的3000精骑就到凤翔“迎卫”，由太监李辅国带队，名义上是保护，其实就是监视，上来就把唐玄宗的600禁军缴械，“贼臣李辅国诏取随驾甲仗”，以“诏”令的形式收走武器，显然这是李亨的命令，唐玄宗无可奈何，“临至王城，何用此物？”，命令禁军全部把武器装备存放到当地的武器库里。
这件事对唐玄宗影响很大，导致他在凤翔犹豫了七八天才上路，这时候正是寒冬季节，天寒地冻，唐肃宗亲自从长安到咸阳的望贤宫迎接，父子相见，恍如隔世！
据说，当时的唐肃宗没有穿黄袍，而是穿着一身紫袍，“上皇下楼，上（肃宗）匍匐捧上上皇足，涕泗呜咽，不能自胜。”
唐玄宗是个明白人，一看儿子的衣服，就知道自己该干什么了，他要来一件黄袍，亲自给李亨披上，”天数、人心皆归于汝，使朕得保养余齿，汝之孝也！“，皇位继承权的问题顺利解决了。
唐玄宗的”好日子“才刚刚开始
此时的唐玄宗已经75岁高龄了，就是有政治野心，也是有心无力了。
第二年，战事稍微平定后，在高力士的陪同下，唐玄宗回到了长安，被儿子安排到了玄宗当年做临淄王的府邸兴庆宫，虽然杨玉环没有了，幸亏有高力士陪着，老年的唐玄宗至少还有一个作伴的
玄宗住在兴庆宫，没事儿的时候就站在长庆楼上观望徘徊，虽然不当皇帝了，但是唐玄宗的政治影响力还是非常强大的，路过的老百姓看到太上皇，纷纷跪下来，高呼”万岁“，唐玄宗也不好甩手离去，就派人拿些酒肉饭菜赐给这些老百姓，剑南来京办事儿官员，由于玄宗流亡时经过那里，这些官员也纷纷到长庆楼拜见，玄宗就让玉真公主和如仙媛招待他们。
这事儿很快被唐肃宗李亨知道了，就有了警觉，派人加强监视，直到有一次，唐玄宗竟然把御林军大将郭英义招到长庆楼，设宴款待。
这件事让唐肃宗感到头皮发麻，好家伙，这简直是复辟的节奏呀，当年老爹李隆基发动两次政变，一次除掉韦后、一次除掉太平公主，逼迫父亲李旦禅位，御林军可是政变的主力军，使用御林军办大事可是李隆基的惯用套路，对于这个政变高手，李亨不得不防，他立即把唐玄宗迁到更加偏僻的太极宫。父子之间最后的亲情，彻底没了。
李辅国带着500甲兵就去了，刀光一片，前来迎接李隆基，高力士怒斥李辅国不得对太上皇无礼，李辅国骂高力士”不解事“，还杀了他的两个侍从，唐玄宗和高力士只好跟着李辅国搬到了太极宫。
高力士就此得罪李辅国，没多久，对高力士的诬告就送到了李辅国的案前，高力士被削去所有职务，流放巫州，临行前，请求见唐玄宗一面也不允许，只好抱憾上路。唐玄宗哭泣”微（没有）将军（高力士官至骠骑将军），阿满（玄宗）已为兵死鬼矣“。
紧接着，王承恩流放播州，陈玄礼告老还乡，就连唐肃宗的姑姑玉真公主也被勒令出居玉真观，李亨派了100多人把玄宗身边的人全部替换掉了，马匹全部收缴，让玄宗欣慰的是，他的两个女儿万安公主和咸宜公主到他身边侍奉。
就这样，唐玄宗在高墙大院内，从此隔离，在漫长的痛苦回忆中，他悲苦的过了6年软禁生活，宝兴元年四月初五，78岁的唐玄宗在愧疚中去世了。
李亨大赦天下，高力士得以回京，就在他走到朗州时，突然听说唐玄宗去世的消息，不禁“北望号恸，呕血而卒”。
高力士一生对李隆基忠心不二，唐玄宗去世后，他也不愿苟活，后人称赞他”高力士真忠臣也！“
