吴军、岑军一退，包围上邦的盖延、耿拿军怕被两面夹击“亦相随而退”。这时隗嚣抓住机会，“出兵尾击诸营”。征南大将军岑彭率亲兵在最后掩护大军，“诸将乃得全军东归”。吴汉等复屯长安，岑彭则回自己的驻地津乡(今湖北江陵)。唯有祭遵一路汉军仍屯驻于沂(今陕西陇县),没有东退。这样，隗嚣又重新据有安定、北地、天水、陇西广大地区；战争又几乎回到了刚开始的样子。
到了建武九年(公元33)正月，传来了颍阳侯征虏将军祭遵在军中逝世的消息。吴汉等西城失利后，各路汉军皆退回长安，只有祭遵仍坚守在安，成为与隗嚣对峙的最前哨。如今军中主将去世，此事关系重大，刘秀急诏冯异“并将其营”,以防止发生意外。对于祭遵的去世，刘秀“憋悼之尤甚”。祭遵“为人廉约小心，克己奉公，赏赐辄尽与士卒，家无私财”,本人及夫人均为节俭的模范。他治军严整，秋毫不犯，“所在吏人不知有军”。
而其作战更是奋勇直前，特别是他“取士皆用儒术，对酒设乐，必雅歌投壶”,全然一派儒者风范，在诸将中十分突出。他的哥哥以其无子，娶妾送之，被谢绝，“自以身任于国，不敢图生虑继嗣之计”。临终，遗诫牛车薄葬；问以家事，却无所言。