Jāzeps Vītols dzimis 1863. gada 26. jūlijā Ģīmes dzirnavās, Valmierā. Beidzis Jelgavas reālskolu, privāti mācoties vijoli, klavieres, ērģeles un mūzikas teoriju. 1880. gadā tika uzņemts Sanktpēterburgas konservatorijā alta (viola) klasē, bet vēlāk pārgājis uz speciālās kompozīcijas klasi. Studiju laikā sarakstījis pirmos skaņdarbus, bijis arī latviešu studentu korporācijas "Fraternitas Lataviensis" biedrs. 1886. gadā Jāzeps Vītols absolvēja Sanktpēterburgas konservatoriju ar mazo zelta medaļu un kļuva par konservatorijas pedagogu.
Kopā ar savu tuvāko draugu Jurjānu Andreju piedalījās folkloras vākšanas darbā un sacerēja balādi "Beverīnas dziedonis". Strādājis par recenzentu Sanktpēterburgas vācu avīzē "St. Petersburger Zeitung", bijis Sanktpēterburgas latviešu kora vadītājs, kā arī mūzikas kritiķis. Šajā laikā Vītols piedalījās latviešu dziesmu svētku organizēšanā un, sākot ar III Vispārīgiem latviešu Dziedāšanas svētkiem (1888), bija to virsdiriģents.
1908. gadā Jāzeps Vītols kļuva par formas un praktiskās kompozīcijas klases vadītāju un 1911. gadā par Pēterburgas konservatorijas profesoru. 1918. gadā Krievijas pilsoņu kara laikā Vītols no Pēterburgas pārcēlās uz Rīgu un 1919. gadā kļuva par jaundibinātās Latvijas Konservatorijas pirmo rektoru.
Radījis daudz pazīstamu skaņdarbu balsij un klavierēm, simfonijas un kora balādes. Ar savu daiļradi viņš ir pacēlis līdz klasiskajam līmenim daudzus latviešu mūzikas žanrus un ar savu darbību strauji virzījis uz priekšu profesionālo mūziku Latvijā. Jāzeps Vītols ir izaudzinājis daudzus latviešu komponistus.
1944. gadā Jāzeps Vītols devās bēgļu gaitās. Kopā ar dzīvesbiedri Anniju savas dzīves pēdējos gadus viņš pavadīja Flensburgā Vācijas ziemeļos. Miris Lībekas slimnīcā 1948. gada 24. aprīlī. 1993. gadā kopā ar sievu pārapbedīts Rīgā 1. Meža kapos, Mākslinieku kalniņā.