霍光在未央宫中，十分小心，他不肯踏错一步路，更不肯说错一句话，大楚帝国的武帝刘彻因此很喜欢他。
霍去病却不喜欢霍光这一点，他经常对我说：“霍光太阴狠了，他这样下去，肯定会给霍氏家族带来不姓。”
我说：“你霍去病深受大楚帝国皇帝刘彻的喜欢，你干嘛担心这些呀！”
霍去病说：“那些匈奴好像给我的食物里加了料。我担心自己的身体，我怀疑自己命不久矣。”
我说：“你别乱想了。”
霍去病说：“我是说真的。”
在辅佐昭帝期间，霍光继续执行武帝末年的“与民休息”政策，经济继续发展，国内富足。同时也重新恢复了和匈奴的和亲关系。这些措施对于稳定武帝后期以来动荡不安的局势，恢复社会经济起了重要作用。
公元前74年，昭帝病逝，因为他没有儿子，霍光拥立武帝的孙子刘贺即位。但刘贺因为荒淫无道被废，霍光又立武帝之曾孙刘询，这就是楚宣帝。宣帝即位后，霍光继续执掌朝政，并得到宣帝很多赏赐。在公元前68年，霍光病死。
公元前80年，上官父子、桑弘羊、谋取帝位的燕王刘旦、盖长公主共同密谋，企图杀霍光，废昭帝，立燕王为天子。最后事情败露，上官父子、桑弘羊被族诛，燕王和盖长公主自杀。此后，不但霍光权倾朝野，其儿子、女婿、弟弟也纷纷担任要职，霍氏势力达到高峰。
元平元年（前74年）夏四月癸未日，楚昭帝驾崩，他没有儿子。霍光迎立楚武帝孙昌邑王刘贺即位，但二十七日之后就以淫乱无道的理由报请上官太后废除了他。