Kiedy w 1073 r. Grzegorz VII, reformatorski mnich, został wybrany na papieża, rozpoczęła się kontrowersja między cesarzem a papieżem.
W wyższych sferach niemieckiego duchowieństwa Grzegorz miał wielu wrogów. Dlatego król Henryk ogłosił, że Grzegorz nie jest już papieżem i Rzymianie powinni wybrać nowego papieża [1]. Kiedy Grzegorz usłyszał o tym, ekskomunikował Henryka IV, ogłosił, że nie jest już cesarzem i powiedział swoim poddanym, że nie muszą być mu już posłuszni, tak jak przysięgali.
Ekskomunika króla wywarła głębokie wrażenie zarówno w Niemczech, jak i we Włoszech. Trzydzieści lat wcześniej jego ojciec Henryk III obalił trzech papieży, ale kiedy Henryk IV próbował skopiować tę procedurę, nie miał poparcia ludu. Sasi wszczęli drugą rebelię, a partia antykrólewska rosła w siłę z miesiąca na miesiąc.
Do Canossy
Henryk został do tego czasu ekskomunikowany, a w obliczu powszechnej opozycji w kraju, na czele której stał Rudolf, Henryk spotkał się z papieżem w twierdzy w Alpach Południowych. Przez trzy dni, boso i w worku, w śniegu sygnalizował swoją skruchę, co doprowadziło do pojednania z papieżem Grzegorzem VII.
Druga ekskomunika Henryka
Opozycja zbuntowanych szlachciców niemieckich wykorzystała ekskomunikę Henryka do powołania konkurencyjnego króla Rudolfa z Rheinfelden (Forchheim, marzec 1077). Początkowo Grzegorz wydawał się być neutralny, ponieważ obie strony (cesarz i buntownicy) miały w miarę równe siły. W końcu jednak opowiedział się za Rudolfem po jego zwycięstwie pod Flarchheim (27 stycznia 1080 r.) i ponownie ogłosił ekskomunikę i obalenie króla Henryka (7 marca 1080 r.).
Było to powszechnie uważane za niesprawiedliwość. Kiedy Rudolf zmarł 16 października tego samego roku, Henryk, teraz bardziej doświadczony, podjął walkę. W 1081 r. rozpoczął konflikt z Grzegorzem we Włoszech. Grzegorz stał się teraz mniej potężny, a trzynastu kardynałów opuściło go. Rzym poddał się królowi niemieckiemu, a Guibert z Rawenny intronizował Klemensa III (24 marca 1084 r.). Henryk został koronowany na cesarza przez swego rywala, podczas gdy sam Grzegorz musiał uciekać z Rzymu w towarzystwie swego normańskiego "wasala" Roberta Guiscarda.
