Seit 1766 war Graff Hofmaler und Lehrer an der Kunstakademie in Dresden. Er leitete mit seinen Bildnissen, darunter auch Miniaturporträts, zur bürgerlichen realistischen Malerei des 19. Jahrhunderts über. Seine mehr als 2 000 Porträts von hervorragenden Persönlichkeiten seiner Zeit zeichnen sich durch Konzentration auf individuelle Züge und geistigen Inhalt aus. Neben Repräsentanten des Adels porträtierte er zahlreiche Vertreter des Geisteslebens, wie Lessing, Herder und Schiller. Ferner schuf er viele Silberstiftzeichnungen.