Czochralski urodził się w Kcyni, małym miasteczku w zaborze pruskim. W wieku 16 lat przeniósł się do Krotoszyna, gdzie podjął pracę w aptece, ponieważ ojcu nie podobały się jego ryzykowne eksperymenty chemiczne. W 1904 roku wyjechał do Berlina, gdzie pracował w laboratoriach koncernu Allgemeine Elektrizitaets Gesellschaft (AEG), jednocześnie zdobywając wykształcenie. W 1910 roku otrzymał tytuł inżyniera chemika na Politechnice Berlińskiej.
Największego odkrycia dokonał w 1916 roku, opracowując metodę pomiaru szybkości krystalizacji metali. Według anegdoty, przez roztargnienie zanurzył stalówkę pióra w tyglu z roztopioną cyną zamiast w kałamarzu, uzyskując metalowy pręcik. Znana dziś metoda Czochralskiego polegająca na wyciąganiu monokryształów początkowo interesowała jedynie metaloznawców, lecz obecnie jest powszechnie stosowana do produkcji kryształów półprzewodnikowych.
To właśnie w oparciu o monokryształy wytwarzane tą metodą działają tranzystory używane niemal w całej współczesnej elektronice, w tym w smartfonach, laptopach, tabletach, aparatach cyfrowych i odtwarzaczach MP3. Metoda Czochralskiego okazała się jego największym osiągnięciem. Istnieje przypuszczenie, że gdyby dożył rozkwitu elektroniki półprzewodnikowej, Polska mogłaby mieć drugiego noblistę w naukach ścisłych.
W 1924 roku Czochralski opatentował inny ważny wynalazek: stop świetnie nadający się na panewki do produkcji ślizgowych łożysk kolejowych. Został on natychmiast zakupiony przez kolej niemiecką i przyczynił się do znacznego rozwoju kolejnictwa.
Cztery lata później, dzięki staraniom prezydenta Ignacego Mościckiego, Czochralski wrócił do ojczyzny i został profesorem kontraktowym Politechniki Warszawskiej. W czasie wojny kierował Zakładem Badań Materiałów, w którym – mimo wykonywania prac dla Wehrmachtu (za zgodą władz konspiracyjnych) – mogło przetrwać wielu polskich naukowców i artystów ratowanych przed represjami hitlerowskimi.
Jednak po wojnie profesor został oskarżony o kolaborację i aresztowany. Choć dochodzenie umorzono wobec braku dowodów winy, pozbawiono go tytułu profesorskiego, praktycznie wykluczając ze środowiska naukowego. Czochralski nie bronił się, by nie pogrążyć wielu osób związanych z podziemiem Armii Krajowej (AK), której działalność władze komunistyczne uznawały wówczas za przestępstwo.
Upokorzony, wrócił do Kcyni, gdzie założył małą firmę chemiczną BION; produkował m.in. pastę do butów i płyn do ondulacji. Zmarł 22 kwietnia 1953 roku w szpitalu w Poznaniu, w wieku 67 lat, po brutalnej rewizji przeprowadzonej w jego willi przez Urząd Bezpieczeństwa.
W 2011 roku w Archiwum Akt Nowych odnaleziono raport Czochralskiego do Oddziału II Komendy Głównej AK z kwietnia 1944 roku. Dokument ten jednoznacznie potwierdził jego współpracę z wywiadem Armii Krajowej, a nie z okupantem. W konsekwencji Senat Politechniki Warszawskiej uchwałą z 29 czerwca 2011 roku po 66 latach całkowicie zrehabilitował prof. Czochralskiego.