Von 1747 bis 1750 besuchte er die Ritterakademie zu Brandenburg und ging dann in preußische Kriegsdienste. Er widmete sich bald der Bewirtschaftung seines Guts Reckahn und dem Studium der Sprachen und Geschichte. Rochow erwarb sich um das Schulwesen in Preußen große Verdienste, indem er Schulen gründete, auf seinen Gütern Volksschulen einrichtete und seine sozialpädagogischen Theorien in Wort und Tat praktizierte.