Der Sohn eines Landwirtes bildete sich autodidaktisch, er stieg ohne Hochschulbildung 1815 zum Geheimen Oberbaurat und 1827 zum Mitglied der Akademie der Wissenschaften auf. Crelle trat zunächst in die preußische Staatsbauverwaltung ein. Bereits zu Beginn des 19. Jahrhunderts arbeitete er als Oberbaurat in Westfalen. 1815/16 wurde er in der Oberbaudeputation für Militär-, Zoll- und Wasserbauten und Straßen zuständig. 1816 bis 1826 hat er in Preußen zahlreiche Chausseen angelegt. Nach seinen Entwürfen wurden die ersten preußischen Eisenbahnanlagen von Berlin nach Potsdam gebaut. 1828 bis 1848 arbeitete er als Beamter im Preußischen Kultusministerium und schied dann aus dem Staatsdienst aus. Zu seinen Verdiensten gehörten 1826 die Herausgabe der ersten deutschsprachigen mathematischen Zeitung "Journal für reine und angewandte Mathematik", das als "Crelles Journal" bezeichnet wurde, und die Entwicklung einer Rechentafel. Er wohnte seit den zwanziger Jahren des 19. Jahrhunderts In Schöneberg, zuletzt Potsdamer Straße. Sein Grab hat sich auf dem Kirchhof der Gemeinde Alt-Schöneberg, Hauptstraße, befunden.