Der Sohn eines hannoveranischen Offiziers trat 1833 in das preußische Heer ein. Er kämpfte von 1836 bis 1840 im karlistischen Heer im spanischen Thronfolgekrieg (1. Carlistenkrieg) und kehrte dann in preußische Dienste zurück. Als Generalstabsoffizier war er 1849 aktiv an der blutigen Niederschlagung des Badischen Aufstands beteiligt. Er zeichnete sich im Deutsch-Dänischen Krieg 1864 vor Düppel und Alsen aus. Im Deutsch-Französischen Krieg 1870/71 war Goeben als General der Infanterie zunächst Kommandeur eines Armeekorps, später - als Nachfolger Manteuffels - einer Armee in Nordfrankreich. Er nahm am Sturm auf Spichern, an der Schlacht von Gravelotte und an der Belagerung von Metz teil. Danach war er Kommandierender General des III. Armeekorps in Koblenz. Goeben trat auch als Militärschriftsteller hervor. Nach ihm war im Ersten Weltkrieg das Schlachtschiff "Goeben" benannt worden, das unter türkischer Flagge fuhr.