заместитель министра Вооружённых Сил СССР. С 1950 года — главный инспектор Советской Армии — заместитель Военного министра СССР. В 1951—1955 годах — командующий Прикарпатским военным округом. В 1953 году — председатель Специального судебного присутствия, судившего Л. П. Берию и приговорившего его к смертной казни. В октябре 1957 года во время исключения маршала Жукова из состава ЦК партии стал на сторону его противников.
В 1955—1956 годах — 1-й заместитель министра обороны СССР и Главнокомандующий Сухопутными войсками. В 1956—1960 годах — 1-й заместитель министра обороны СССР, c 1955 года — одновременно Главнокомандующий Объединенными вооруженными силами стран Варшавского договора (в этом качестве руководил подавлением венгерского восстания 1956 года). В 1960—1961 годах и с апреля 1962 года в Группе генеральных инспекторов МО СССР. В 1961—1962 годах, в период Берлинского кризиса — главнокомандующий Группой советских войск в Германии.
Умер 21 мая 1973 года от рака. Похоронен на Красной площади у Кремлёвской стены.
После войны