Kyllmann studierte an der Berliner Bauakademie. 1866 wurde er Regierungsbaumeister und 1867 Kommissar auf der Pariser Weltausstellung. Er gehörte zu den meistbeschäftigsten Baumeistern seiner Zeit. Zusammen mit dem Architekten Adolf Heyden schuf er u. a. die Kaisergalerie, das Kunstausstellungsgebäude in Berlin, die Johanniskirche in Düsseldorf sowie das Postgebäude in Breslau. Viele Jahre war er Bewohner und Gemeindevertreter von Wannsee. Auch in Lichterfelde sind mehrere Villen und Häuser von ihm erbaut worden. Seine Grabstätte befindet sich auf dem Dreifaltigkeitsfriedhof, Kreuzberg, Bergmannstraße.