Harnack war Sohn eines Theologieprofessors und studierte ab 1869 Theologie. 1872 zog er nach Leipzig, wo er zum Dr. phil. promovierte. 1874 gründete er eine "Kirchenhistorische Gesellschaft" und begann seine Lehrtätigkeit. Ab 1876 war er Professor in Leipzig, 1879 in Gießen, 1886 in Marburg und 1888 bis 1921 in Berlin. 1890 wurde er Mitglied der Preußischen Akademie der Wissenschaften. 1905-1921 war Harnack Generaldirektor der Preußischen Staatsbibliothek, 1911 bis zu seinem Tod Präsident der "Kaiser-Wilhelm-Gesellschaft zur Förderung der Wissenschaften", die mit auf seine Initiative gegründet wurde. Harnack ist Autor der "Geschichte der altchristlichen Literatur" und war Mitbegründer der "Theologischen Literaturzeitung". Harnack war seit 1910 Mitglied der Königlichen Kommission zur Aufteilung der Domäne Dahlem. Auf dem Alten Kirchhof der St.-Matthäus-Gemeinde in Schöneberg erhielt er ein Ehrengrab.