地节四年(前66年)七月,霍家发动政变未遂,招致灭族,霍家子孙及霍显都被诛杀。同年八月,汉宣帝以阴谋毒害太子刘奭为由,废黜霍成君皇后之位,将其迁往上林苑的昭台宫居住。 五凤四年(公前54年),汉宣帝下令将其迁往云林馆居住,霍成君自杀,葬于昆吾亭东。