Althoff stammte aus einer westfälischen Beamten- und Pfarrersfamilie. Nach Abschluß eines Jurastudiums war er Assessor in Köln, Ehrenbreitstein und Bonn, seit 1871, in Folge des Deutsch-Französischen Krieges von 1870/71, Justitiar bei der Zivilverwaltung in Straßburg. Althoff galt als konsequenter Verfechter des preußisch-bürokratischen Liberalismus und Kulturstaatsgedankens. Forschung und Politik waren die beiden Felder, denen er sich verschrieben hatte. So war Althoff maßgeblich an der Gründung der Universität Straßburg beteiligt und selbst dort seit 1880 Professor. 1882 wurde Althoff als Universitätsdezernent ins Preußische Kultusministerium nach Berlin berufen. In diesem Amt und seit 1897 als Ministerialdirektor wirkte er äußerst einflußreich unter fünf Ministern. Das Hochschulwesen formte er zu einem zentral gelenkten und kontrollierten Bildungsunternehmen. Hierzu diente Althoff die von ihm eingerichtete jährlich seit 1898 stattfindende Hochschulkonferenz mit den Regierungsvertretern deutscher Länder ebenso wie die Suche nach neuen Wegen der Organisierung und Finanzierung der Forschung durch privates Kapital. Dafür ist die zwar nach seiner Amtszeit, doch in seinem Geiste erfolgte Gründung der Kaiser-Wilhelm-Gesellschaft beredter Ausdruck. Als Verfechter der Freiheit von Forschung und Lehre nahm er Einfluß auf die Gleichstellung der Technischen Hochschulen mit den Universitäten, setzte sich für das Frauenstudium und die Berufung von Juden und Katholiken ein. Althoff reformierte u. a. das Bibliothekswesen und wirkte für den Aufbau und die Neugründung von Universitäten und Technischen Hochschulen. Er war es, der den Botanischen Garten nach Dahlem verlegte und das "deutsche Oxford" auf dem Gelände der Domäne Dahlem gründete. Neben seinem Staatsamt war er 1891 zum ordentlichen Professor für Zivilrecht in Bonn berufen worden und wirkte seit 1896 als ordentlicher Honorarprofessor in Berlin. 1907 nahm der inzwischen zum Wirklichen Geheimen Rat beförderte fünffache Ehrendoktor seinen Abschied. Seine letzte Ruhestätte fand er in einem Ehrengrab im Botanischen Garten Dahlem.