Er erhielt seine erste Ausbildung im Kadettenhaus seiner Heimatstadt, wo auch sein Vater unterrichtete. Am 14.4.1869 wurde er zum Leutnant ernannt und aus der militärischen Erziehungseinrichtung entlassen. Er trat in das Infanterieregiment Nr. 81 in Mainz ein. Im Deutsch-Französischen Krieg 1870/71 schwer verwundet, studierte er nach seiner Genesung in Berlin an der Kriegsakademie. Budde gab 1877 eine Schrift über die französischen Eisenbahnen während des vergangenen Krieges und deren Entwicklung unter militärischen Aspekten heraus. General von Moltke persönlich überreichte ihm für diese Studie den Roten Adlerorden. Budde wurde in die Eisenbahnabteilung des Großen Generalstabs berufen, dem er mit einer Unterbrechung zwischen 1891 und 1893 bis 1900 angehörte. 1893 wurde er zum Chef der Eisenbahnabteilung des Generalstabs ernannt. 1900 wurde er als Generalmajor aus dem Heer verabschiedet. Kaiser Wilhelm II. ernannte ihn zum Staatsminister und Minister für öffentliche Arbeiten. Er wurde Generaldirektor der Deutschen Waffen- und Munitionsfabrik in Berlin. Während seiner Amtszeit begannen im Herbst 1903 die Versuchsfahrten der elektrischen Schnellbahnwagen. 1904 wurde Budde geadelt. Er wohnte (1892) in der Wilhelmstraße 79.