John de Wolf rozpoczął swoją profesjonalną karierę piłkarską w Sparcie Rotterdam, gdzie grał w latach 1983-1985. Następnie przeniósł się do FC Groningen, gdzie zdobył reputację jako twardy środkowy obrońca. W 1989 roku dołączył do Feyenoordu, ale początkowo zmagał się z poważną kontuzją. Jesienią 1990 roku zadebiutował w barwach tego klubu i szybko stał się ikoną odrodzenia Feyenoordu na początku lat 90. De Wolf był naturalnym liderem zespołu, który zdobył cztery puchary i mistrzostwo kraju, wykazując ducha walki i zaangażowanie. Tworząc duet z Henkiem Fräserem, De Wolf przywrócił wspomnienia o Theo Laseromsie i Rinusie Israëlu. Dzięki swoim występom w Feyenoordzie, De Wolf został powołany do reprezentacji Holandii, gdzie rozegrał sześć meczów. Jego popularność wśród fanów była przeogromna, a wokół jego osoby narodził się prawdziwy kult. Nie tylko jego fryzura i zarost były naśladowane w Rotterdamie, ale nawet pojawiła się osoba, która miała tatuaż z wizerunkiem De Wolfa, który De Wolf osobiście podpisał.

Tzw. incydent kartoflowy z Holendrami podczas Mistrzostw Świata w 1994 roku stanowił plamę na karierze zawodnika. Miało to negatywny wpływ na atmosferę w Feyenoordzie i przyczyniło się do jego decyzji o transferze do angielskiego klubu Wolverhampton Wanderers w końcu tego samego roku. "Big John" de Wolf kontynuował grę w VVV i Helmond Sport, miał również krótki epizod w izraelskim Hapoeelu Aszkelon, gdzie z powodu poważnej kontuzji ledwo co zagrał. W 2000 roku John zdecydował się zakończyć swoją piłkarską karierę.

Po zakończeniu kariery stał się m.in. osobowością telewizyjną, analitykiem piłkarskim i figurantem w walce z bezrobociem wśród osób starszych. Trenował także amatorskie kluby, takie jak VV Sliedrecht, Spakenburg i GVVV. W 2019 wrócił do Feyenoordu w roli asystenta Dicka Advocaata. Później asystował też Arne Slotowi, Brianowi Priske i Robinowi van Persie.