Алайда, 1960 жылдардың басында Хрущевтің басшылығына қолдау ішкі саясаттағы сәтсіздіктер мен оның Кубалық зымыран дағдарысын дұрыс қолданбауы салдарынан айтарлықтай әлсіреді. Мұндай оқиғалар оның саяси бәсекелестерін жігерлендірді, олар үнсіз күш алып, ақыры 1964 жылдың қазанында оны құлатты.