Nato a Helsa, in Germania, nel 1898, fin da piccolo coltivò la sua passione per le materie scientifiche: alcuni racconti narrano di come, ancora bambino, Karl si dilettasse a fare degli esperimenti nella sua cameretta.
Crescendo, continuò a tenere viva la sua innata curiosità studiando molto, anche nel tempo libero, tanto che poté saltare i primi due semestri della facoltà di Chimica all’Università di Marburgo.
Dovette interrompere gli studi a causa dello scoppio della Prima Guerra Mondiale, a cui partecipò come soldato semplice. Una volta congedato, iniziò a lavorare al suo dottorato di ricerca, che si rivelò particolarmente brillante: non solo portò a tre pubblicazioni, ma gli valse anche la Medaglia Liebig nel 1935. Questo fu il primo di una lunga serie di riconoscimenti conseguiti dal chimico.
Continuò a lavorare presso l’Università di Marburgo, dove iniziò studiare la stabilità dei radicali liberi – molecole ossidanti altamente reattive prodotte dal metabolismo dell’ossigeno, dunque dalla respirazione.
Nel 1920 l’Università di Heidelberg gli assegnò la cattedra di Chimica organica, dove insegnò fino al 1936, anno in cui entrò a far parte dell’ateneo di Halle e divenne direttore del Chemical Institute. Durante la sua permanenza lavorò instancabilmente per riportare il vigore della ricerca chimica, frenata bruscamente dalla guerra.
Nel maggio 1952, durante un convegno, Ziegler comunicò di aver studiato la polimerizzazione dell’etilene catalizzata da metalli di transizione, un processo in cui una sostanza chimica è combinata a un’altra per creare una catena polimerica. Alla conferenza era presente l’assistente di Giulio Natta, che informò subito il suo professore dei risultati ottenuti dal collega tedesco. Ne nacque una collaborazione che, nel 1963, valse a entrambi il Premio Nobel per la Chimica: a Ziegler per la scoperta di nuovi catalizzatori di polimerizzazione e a Natta per il polipropilene e altri polimeri, ottenuti proprio utilizzando i composti organometallici di Ziegler.
Ancora oggi i catalizzatori Ziegler-Natta sono fra le molecole più utilizzate nell’ambito della sintesi dei farmaci.