Bitter studierte in Berlin und Bonn. Seit 1833 arbeitete er im Staatsdienst in Potsdam unter anderem als Regierungsreferendar, von 1845 bis 1850 als Regierungsrat in Frankfurt (Oder), von 1856 bis 1860 als Preußischer Bevollmächtigter bei der Donaukommission. Danach wirkte er mehrere Jahre als Generalinspekteur der Rheinschiffahrt in Mannheim, 1869 übersiedelte er kurzzeitig nach Berlin, um danach Oberregierungsrat in Posen zu werden. Von 1872 bis 1877 war er Regierungspräsident in Schleswig, dann in Düsseldorf, seit 1877 Unterstaatssekretär im preußischen Innenministerium. Als preußischer Finanzminister von 1879 bis 1882 war er maßgeblich an der Durchführung von Steuerreformen beteiligt. Bitter galt als willfähriges Werkzeug Bismarcks. Neben seiner politischen Arbeit war er seit 1856 auch als musikhistorischer Schriftsteller tätig. Er wurde auf dem Friedhof der Dorotheenstädtischen und Friedrichswerderschen Gemeinde in der Chausseestraße 126 beigesetzt.