Der Sohn eines Buchbinders und Papierwarenhändlers erlernte den Beruf seines Vaters. Kaiser war ab 1912 in der Leitung der christlichen Gewerkschaften tätig und kam 1921 als deren Geschäftsführer nach Berlin. Er war Mitglied der Zentrumspartei. Im März 1933 kandidierte er erfolgreich für den Reichstag und stimmte dort gegen das Ermächtigungsgesetz. Dem Parlament gehörte er bis November 1933 an. Im Mai 1933 weigerte sich Kaiser, die verordnete Auflösung der christlichen Gewerkschaften zu akzeptieren, und wurde arbeitslos. 1934 siedelte er ganz nach Berlin über und wohnte in der Wittelsbacherstraße 28 in Wilmersdorf. Am 19.4.1938 wurde Kaiser in Duderstadt verhaftet und am 27. Oktober des Jahres aus der Haft entlassen. Er knüpfte ab Ende 1941 Beziehungen zu Leuschner, Habermann, Wirmer und Goerdeler und konnte sich nach dem mißlungenen Attentat auf Hitler mit Hilfe seiner Lebensgefährtin, Elfriede Nebgen, bis Kriegsende versteckt halten. Kaiser fand illegale Unterkunft in Babelsberg bei Gertrud Droste, wo er überleben konnte. 1945 gehörte er in der sowjetischen Besatzungszone zu den Mitbegründern der CDU. Er sah Deutschland als eine wichtige Brücke zwischen Ost und West und befand sich damit in Konfrontation zu Adenauer. 1946/47 gehörte Kaiser dem Bundesvorstand des Freien Deutschen Gewerkschaftsbundes (FDGB) an. Im Dezember 1947 wurde er von der sowjetischen Militärregierung aus seinem Amt als Vorsitzender der CDU entlassen. Er ging nach Westberlin, arbeitete im Stadtparlament und im Parlamentarischen Rat. Von 1949 bis 1957 gehörte Kaiser dem Bundestag an und wurde Minister für Gesamtdeutsche Fragen. Er war stellvertretender CDU-Vorsitzender, Vorsitzender der CDU-Sozialausschüsse und Mitbegründer des Kuratoriums „Unteilbares Deutschland“. Am 8.2.1958 wurde Kaiser 69. Ehrenbürger Berlins. Er hat ein Ehrengrab auf dem Landeseigenen Waldfriedhof Zehlendorf.