在當政的20多年里 ， 霍光對漢室居功至偉 。 班固曾經評價他說 ， 霍光匡國家 ， 安社稷 ， 即便是伊尹和周公 ， 也不能超過他 。 漢宣帝曾下詔建造麒麟閣 ， 令人畫十一名功臣畫像在閣樓上 ， 霍光為第一 。 但是漢宣帝實際上對這位權臣極為忌憚 。 史書記載說 ， 漢宣帝剛即位 ， 去宗廟參拜 ， 霍光隨車同行 ， 宣帝“若有芒刺在背” 。 霍光死后 ， 漢宣帝就開始剝奪霍氏家族的權力 ， 霍家試圖造反 ， 但事情敗露 ， 霍氏家族被盡數誅殺 。

霍光是顧命大臣中活著時候最風光的一位 ， 但因為受其顧命大臣一職的影響 ， 家族受牽連被盡數誅殺 。

跟霍光遭遇同樣命運的 ， 還有南朝的徐羨之 。