Анастас Микоян родился в 1895 году в крестьянской семье, проживавшей в Тифлисской губернии. Он знал русский и армянский языки, много читал (впоследствии он освоит ещё несколько языков). Особенно его увлекали исторические книги о Великой французской революции.
Образование было типичным для того времени: сначала духовная семинария в Тифлисе, затем духовная академия в Эчмиадзине. Учёбу в семинарии пришлось прервать из-за войны — Микоян отправился добровольцем на фронт, а по возвращении присоединился к большевикам и начал участвовать в пропагандистской деятельности.
В марте Микоян возглавил Бакинское бюро Кавказского крайкома РКП (б). За его рьяную защиту права Азербайджана на независимость и споры с армянскими коммунистами революционера прозвали «мусульманским коммунистом». Осенью того же года Микояна вызвали в Москву, где он вошёл в состав ВЦИК.
В 1922 году по рекомендации Иосифа Сталина Микоян был назначен секретарём Юго-Восточного бюро ЦК РКП (б), а затем и председателем Северокавказского краевого комитета партии. На последнем посту Микоян проводил более гибкую политику в отношении казачества. Входя в группу так называемых «кавказцев» (бывших членов закавказской организации), в дальнейшем Микоян поддерживал курс Сталина во внутрипартийной борьбе.
Во время «великого перелома» поддержал Сталина. Осенью 1937 года Микоян выезжал в Армению для проведения чистки партийных и государственных органов этой республики от «врагов народа».
Микоян возглавлял комиссию по обвинению в контрреволюционной деятельности видных членов партии. Он, в частности, вместе с Ежовым был докладчиком на февральско-мартовском Пленуме ЦК ВКП (б) по делу Бухарина (1937 год). Именно Микоян выступал от имени Политбюро ЦК ВКП (б) на торжественном активе НКВД, посвящённом 20-летию органов ВЧК-ГПУ-НКВД. После восхваления деятельности Ежова, оправдания массовых репрессий Микоян закончил свой доклад словами: «Славно поработало НКВД за это время!» (имеется в виду 1937 год — прим. ред).
5 марта 1940 года вместе с И. В. Сталиным, В.М. Молотовым и К.Е. Ворошиловым поставил свою подпись под решением Политбюро ЦК ВКП (б) о расстреле пленных польских офицеров, полицейских, пограничников, жандармов и др. В истории это событие останется как Катынский расстрел.
6 ноября 1942 года было совершено покушение на Микояна. Дезертировавший красноармеец Савелий Дмитриев из Усть-Каменогорска открыл огонь по машине партийного деятеля. Произошло это на Красной площади. Только с помощью двух гранат удалось обезвредить Дмитриева. Позднее выяснилось, что дезертир принял машину Микояна за автомобиль Иосифа Сталина. Дмитриев был расстрелян в 1950 году.
Микоян усиленно занимался развитием общественного питания. Было открыто большое количество столовых на промышленных предприятиях и учреждениях. Общественное питание стало для многих рабочих и служащих основной формой питания во время войны.
Микоян содействовал развитию советской рекламы. Из мемуаров личного переводчика Сталина В. М. Бережкова: «Уже стемнело, площадь освещали яркие фонари, горела пёстрая реклама на крыше Политехнического музея: «Всем попробовать пора бы, как вкусны и нежны крабы», «А я ем повидло и джем», «Нужен вам гостинец в дом? Покупай донской залом». Это всё идея Микояна, курировавшего также и внутреннюю торговлю. Он приглашал знаменитых поэтов придумывать броскую рекламу, наподобие Маяковского: «Нигде кроме, как в Моссельпроме».
В острых вопросах Микоян всегда занимал уклончивую позицию: так, во время обсуждения судьбы Берии он согласился со всеми обвинениями, но в то же время выразил надежду, что Берия «учтёт критику». Аналогичная позиция была у него поначалу и относительно разоблачения Иосифа Сталина: когда на заседании Президиума ЦК перед XX съездом в 1956 году Хрущёв предложил обсудить вопрос об осуждении действий Сталина, Микоян не высказался ни за, ни против, однако во время съезда выступил фактически с антисталинской речью (хотя и не называя Сталина по имени), заявив о существовании «культа личности», подчеркнув необходимость мирного сосуществования с Западом и мирного пути к социализму, подвергнув критике труды Сталина — «Краткий курс истории ВКП (б)» и «Экономические проблемы социализма в СССР». Вслед за этим Микоян возглавил комиссию по реабилитации заключённых.
На пленуме ЦК 1957 года твёрдо поддержал Хрущёва против антипартийной группы, чем обеспечил себе новый взлёт партийной карьеры.
После 1957 года Микоян стал одним из главных доверенных лиц Хрущёва: он совершил поездку по странам Азии, а в 1959 году для подготовки визита советского лидера посетил США. Вёл переговоры с Фиделем Кастро об установлении советско-кубинских отношений; в 1962 году активно участвовал в урегулировании «Карибского кризиса», ведя лично переговоры с Кеннеди и Кастро.
15 июля 1964 года Анастас Микоян был избран на пост председателя Президиума Верховного Совета СССР. Во время Октябрьского (1964 г.) пленума ЦК КПСС пытался осторожно защищать Хрущёва, подчеркивая его внешнеполитические заслуги. В результате в декабре 1965 года Микоян был отправлен в отставку как достигший 70-летнего возраста. При этом он остался членом ЦК КПСС и членом Президиума Верховного Совета СССР (1965−1974), а также получил шестой орден Ленина.
Микоян начал свою политическую карьеру при жизни Владимира Ленина и ушёл в отставку лишь при Леониде Брежневе. В конце 1970-х годов по этому поводу была сложена пословица: «От Ильича до Ильича без инфаркта и паралича».
Анастас Микоян скончался 21 октября 1978 года. Похоронен на Новодевичьем кладбище рядом с женой.