Το 1826 άρχισε να εργάζεται σε ηλικία 14 ετών στο σιδηρουργείο, στο χυτήριο, στο λογιστήριο και στο ταμείο της πατρικής βιοτεχνίας χυτοχάλυβα, όταν πέθανε ξαφνικά ο πατέρας του. Η βιοτεχνία απασχολούσε περίπου 10 εργάτες που παρήγαγαν χαλύβδινα εργαλεία, λίμες και καλούπια για πρέσες. Όταν μετά από περίπου 60 χρόνια, πέθανε ο Κρουπ σε ηλικία 75 ετών, η επιχείρηση ήταν το μεγαλύτερο στον κόσμο συγκρότημα επεξεργασίας σιδήρου με πάνω από 20.000 εργάτες.

Στη δεκαετία του 1860 ανασυγκρότησε ο Κρουπ την επιχείρηση και τη μετέτρεψε σε ένα κάθετο συγκρότημα επεξεργασίας χάλυβα που ξεκίναγε με ανθρακορυχεία και μεταλλεία και κατέληγε σε χυτήρια και μονάδες επεξεργασίας προϊόντων χάλυβα. Παγκόσμια φήμη κατέκτησε το όνομα Krupp με την παραγωγή χαλύβων υψηλής ποιότητας, οι οποίοι ήταν κατάλληλοι για την κατασκευή οχημάτων, πλοίων και πολεμικού εξπλισμού. Ήδη εν ζωή απεκαλείτο ο Κρουπ «βασιλιάς των κανονιών». 

Στους εργαζόμενους των επιχειρήσεών του ο Κρουπ ήταν ιδιαίτερα αγαπητός, γιατί παράλληλα με τις κατασκευαστικές και εμπορικές δραστηριότητες ανέπτυσσε και κοινωνικούς θεσμούς που ήταν άγνωστοι μέχρι τότε στην Ευρώπη. ΔημιούρΓησε για το προσωπικό ταμεία υγείας και συνταξιοδότησης, χρηματοδότησε την ανέγερση εργατικών κατοικιών και ίδρυσε καταναλωτικό συνεταιρισμό και νοσοκομείο.