Wirmer lebte seit Mitte der zwanziger Jahre in Berlin. Er stand dem linken Flügel der Zentrumspartei nahe und kandidierte 1932 für den Bezirkstag. 1933 wurde ihm die Zulassung als Notar verweigert. Wirmer konnte aber weiterhin als Anwalt tätig sein. Er verteidigte unter rassistischem Vorwand verfolgte Mitbürger und wurde deshalb aus dem NS-Rechtswahrerbund ausgeschlossen. Enge Verbindung unterhielt er seit 1936 zu Leber, Bonhoeffer, Habermann, General Oster, Hans von Dohnanyi, Letterhaus und Stauffenberg. Wirmer wohnte von 1937 bis 1941 in der Lichterfelder Holbeinstraße 56 und in der Dürerstraße 17 (Steglitz). Diese Wohnungen dienten ebenso wie seine Anwaltspraxis in der Behrenstraße 23 in Berlin-Mitte als geheimer Treffpunkt der Widerstandskreise. Seit 1941 hatte er auch Kontakt zu Carl Goerdeler. In den Plänen Goerdelers für die Zeit nach dem Attentat auf Hitler war Wirmer als Justizminister vorgesehen. Nach dem mißlungenen Attentat wurde er als einer der Hauptbeteiligten am 4.8.1944 in der Holbeinstraße verhaftet. Am 8.9.1944 verurteilte ihn der „Volksgerichtshof“ zum Tode. Drei Stunden nach seiner Verurteilung wurde er in Plötzensee hingerichtet. An sein mutiges Wirken erinnert eine Gedenktafel in der Holbeinstraße Lichterfelde (Steglitz-Zehlendorf).