霍光不是奸臣，但绝对算是历史上排在前五的权臣。判断一个人是否事奸细，有时是主观的，判断起来是由难度的。但是否独揽大权，控制国家大事，这判断起来还是很明显的。霍光对权力的贪婪是很明显的，从成为辅政大臣那天开始就已经表现的很明显了。

一天晚上，宫殿里突然着火了。他要求保存玉玺的官员把玉玺交给自己，以怕引起动乱为理由。很显然人家直接拒绝了他的提议。事后，霍光当然称赞了这位官员的做法，但这一事件无疑试探出了自己权利有多大。不久，霍光以谋反罪消灭了另外两位辅政大臣上官桀和桑弘羊。至此之后他彻底成为了独断专行的权臣。

他之所以被称为权臣，还有一个原因就是他过多地干涉皇帝的私生活，想全方位地控制年幼的昭帝，包括将未成年的孙女嫁给昭帝，为宫中宫女穿上“纨裤”，这是一种很难脱下的内衣，以防止昭帝和其他女人生下王子。霍光希望通过巩固孙女的皇后地位来维持自己的地位。

也就是在这种强压之下，昭帝刚刚20岁出头就死了。霍光泽继续专横地行使权力，甚至在他的建议下，在他的孙女太后的主持下，废除了刚刚登基37天的新天子刘贺。臣废君，从古至今，这都是一种大逆不道的行为，所以当他说出这种想法时，史书记载的就是满朝的大臣们都被吓得不敢作声。霍光权贵的形象在这一刻达到了顶峰。

不过霍光有几点保证他死后不会被清算。第一，他的权力斗争停留在上层，不影响民生。毫无疑问，个人治理国家的能力还是有的。其次，他虽然掌权，但并不打算篡位，算是保留了君臣的操守。再者，他也为汉宣帝的皇位做出了巨大的贡献，所以他死后得到了麒麟阁第一功臣的位置，尽管汉宣帝生前如芒刺在背。

然而，他的家人却没有这么幸运。在他死后的第二年，他的家人被汉宣帝以谋反的罪名铲除干净了。将其势力全部消灭干净，以除后患。但这无疑是汉武帝宣帝的又一个辉煌的举动，只将你一人抬到政治神坛的高位。