教皇的号召力非常之大，一时间德国内外反亨利力量声势震天，特别是德国国境内的大大小小的封建主都兴兵造反，向亨利的王位发起了挑战。
亨利面对危局，被迫妥协，于1077年1月身穿破衣，只带着两个随从，骑着毛驴，冒着严寒，翻山越岭，千里迢迢前往罗马，向教皇认罪忏悔。
但格里高利故意不予理睬，在亨利到达之前躲到了远离罗马的卡诺莎行宫。亨利没有办法，只好又前往卡诺莎去拜见教皇。
到了卡诺莎后，教皇紧闭城堡大门，不让亨利进来。为了保住皇帝宝座，亨利忍辱跪在城堡门前求饶。
当时大雪纷纷，天寒地冻，身为帝王之尊的亨利屈膝脱帽，一直在雪地上跪了三天三夜，教皇才开门相迎，饶恕了他。
亨利恢复了教籍，保住王位返回德国后，集中精力整治内部，然后派兵把封建主逐个击破，并剥夺了他们的爵位和封邑，把曾一度危及他王位的内部反抗势力逐一消灭。在阵脚稳固之后，他立即发兵进攻罗马，以报跪求之辱。在亨利的强兵面前，格里高利弃城逃跑，最后客死他乡。
显然，亨利的“卡诺莎之行”是别有用心的。在他与教皇对峙，国内外反对声一片，特别是内部群雄并起，王位岌岌可危的情况下，他能不惜受辱取得暂时的和解，以便重整旗鼓，东山再起，再和教皇较量赢得喘息时间。结果，他胜利了。