Havenstein entstammte einer Beamtenfamilie und studierte ab 1863 in Heidelberg und Berlin Jura. Ab 1876 war er im preußischen Justizdienst tätig und begann seine Laufbahn 1887 als Amtsrichter. 1890 wurde er ins preußische Finanzministerium berufen. Als Reichsbankpräsident (1908-1923) initiierte er 1908 die Gesetzesnovelle, in der die Reichsbanknoten zum gesetzlichen Zahlungsmittel erklärt wurden. Gleichzeitig nahm er die Ausgabe von Darlehensbankscheinen (Verpfändung von Waren) wieder auf. Bei Kriegsbeginn schuf er das System der Kriegsanleihen. Da die Emission von Papiergeld nach dem Krieg kein Ende nahm, beschuldigte man Havenstein, Urheber der Inflation zu sein. Seine Grabstätte befindet sich auf dem St.-Annen-Friedhof Dahlem.