Saharovs dzimis 1921.gadā Maskavā fizikas pasniedzēja, daudzu populārzinātnisko grāmatu autora Dmitrija Saharova un un mājsaimnieces Jekaterinas Saharovas ģimenē. Bērnību un jaunību Saharovs pavadīja Krievijas galvaspilsētā. Sākumā viņš mācījās mājās, bet skolā sāka iet tikai no 7.klases.
1938.gadā Saharovs ar izcilību pabeidza skolu un iestājās Maskavas Universitātes (MU) Fizikas fakultātē. 1942.gadā evakuācijā Ašhabadā viņš ar teicamām sekmēm pabeidza Maskavas Valsts universitāti, un tā paša gada septembrī tika nosūtīts darbā uz Bruņojuma tautas komisariātu. Līdz 1945.gadam Saharovs bija inženieris – izgudrotājs Uļjanovas kara rūpnīcā.
No 1943. līdz 1944.gadam Saharovs patstāvīgi izstrādāja vairākus zinātniskos darbus, kurus nosūtīja PSRS Zinātņu akadēmijas Fizikas institūta vadītājam Igoram Tammam. 1945.gadā viņš iestājās institūta aspirantūrā un 1947.gada novembrī aizstāvēja zinātņu kandidāta disertāciju.
1948.gadā Saharovu iekļāva Tamma vadītajā kodoltermiskā ieroča izstrādes grupā, kur viņš strādāja līdz 1968.gadam. Kopā ar Tammu Saharovs kļuva par vienu no inicatoriem kodoltermisko reakciju izpētei. Viņš izvirzīja vairākas revolucionāras fizikālas idejas, lai panāktu vadāmu kodoltermisko reakciju. Tāpat viņš izstrādājis vairākus zinātnes attīstībai nozīmīgus darbus kosmoloģijā, lauka teorijā un elementārdaļiņu jautājumos.
1953.gadā Saharovs aizstāvēja doktora disertāciju un tajā pat gadā tika ievēlēts par PSRS Zinātņu akadēmijas locekli.
Kopš 50.gadu beigām Saharovs, kuru uzskata par vienu no padomju ūdeņraža bumbas radītājiem, aktīvi iestājās pret kodolizmēģinājumiem. 1957.gadā viņš uzrakstīja rakstu par kodolizmēģinājumu kaitīgumu, bet 1958.gadā kopā ar akadēmiķi Igoru Kurčatovu uzstājās pret plānotajiem kodolizmēģinājumiem. Saharovs bija viens no iniciatoriem 1963.gada Maskavas līgumam, kas aizliedza kodolizmēģinājumus atmosfērā, ūdenī un kosmosā, bet 1967.gadā zinātnieks iesaistījās Baikāla aizsardzības komitejā.
1966. – 1967.gadā Saharovs sāka aizstāvēt represētos, uzrakstot brošūru "Pārdomas par progresu, mierīgu līdzāspastāvēšanu un intelektuālo brīvību", kas tika publicēta daudzās valstīs. Pēc šīs publikācijas Saharovu atlaida no darba un atcēla no visiem amatiem, kas saistīti ar militāriem noslēpumiem.
1969.gadā Saharovs atgriezās zinātniskajā darbā Zinātņu akadēmijā, ieņemot vecākā zinātniskā līdzstrādnieka amatu. Tas bija zemākais postenis, kādā PSRS varēja strādāt akadēmiķis. No 1967. līdz 1969.gadam Saharovs publicēja vairāk nekā 15 zinātniskos darbus, taču kopš 1970. gada par viņa galveno darbu kļuva cīņa par cilvēktiesībām un politiskās izrēķināšanās upuru aizstāvība. 1970.gadā Saharovs kļuva par vienu no Maskavas cilvēka tiesību komitejas dibinātājiem, viņš arī cīnījās pret vides piesārņošanu, iestājās par nāvessoda atcelšanu, tiesībām uz emigrāciju, pret citādi domājošo "ārstēšanu" psihiatriskajās slimnīcās.
Saharovs kļuva par vispazīstamāko padomju cilvēktiesību cīnītāju, viņš vairākkārt vērsās ar aicinājumiem un paziņojumiem pie PSRS vadības. 1975.gadā viņam piešķīra Nobela miera prēmiju par "bezbailīgu cīņu par mieru starp tautām un vīrišķīgu cīņu pret varas ļaunprātību un jebkāda veida cilvēka cieņas aizskaršanu".
70.gadu otrajā pusē Saharovs tika ievēlēts par Pasaules cilvēka tiesību līgas prezidentu. Viņš cīnījās par nāvessoda atcelšanu PSRS un pasaulē vispār, iestājās pret padomju karaspēka ievešanu Afganistānā.
1980.gadā PSRS Augstākās padomes prezidijs nolēma atņemt Saharovam visus apbalvojumus, prēmijas un goda nosaukumus, bet janvārī viņu bez tiesas izsūtīja uz ārzemniekiem slēgto pilsētu Gorkiju. Tur gandrīz pilnīgā izolācijā un stingrā milicijas uzraudzībā Saharovs kopā ar sievu trīs reizes pieteica ilgstošu badastreiku. Lai pasaulslavenais zinātnieks nenomirtu, varas iestādes ar spēku viņu ievietoja slimnīcā un baroja piespiedu kārtā.
Sākoties pārmaiņām Padomju Savienībā, 1986.gada decembrī pēc valsts vadītāja Mihaila Gorbačova rīkojuma Saharovu atbrīvoja no izsūtījuma un viņš kopā ar sievu atgriezās Maskavā, kur atsāka darbu Fizikas institūtā.
1988.gadā Saharovs pirmo reizi devās ārvalstu braucienos, tikās ar toreizējiem pasaules valstu līderiem Ronaldu Reiganu, Džordžu Bušu, Mārgaretu Tečeri un Fransuā Miterānu.
Arī pēdējos dzīves gados Saharovs aktīvi pievērsās cilvēka tiesību aizsardzībai, tika ievēlēts PSRS Augstākajā padomē, kur vadīja radikāli noskaņotu deputātu grupu.
Saharovs mira 1989.gada 14.decembrī pēc sirdslēkmes. Vēl dienu iepriekš viņš uzstājās ar runu Kremlī.
1988.gadā Eiropas parlaments nodibināja Saharova vārdā nosaukto prēmiju "Par domas brīvību", kuru ik gadu pasniedz par sasniegumiem cilvēka tiesību un pamatbrīvību aizsardzībā, starptautisko tiesību aizstāvību un demokrātijas attīstību". Zinātnieka vārdā nosauktas daudzas ielas neskaitāmās pasaules pilsētās, viņa vārds dots arī asteroīdam.