唐肃宗在灵武即位后，决定对叛军展开反击。他欣赏李倓的才能，准备封李倓为天下兵马大帅，让他统领诸路军马向东征伐。
唐肃宗的谋士李泌不同意他的安排，他向唐肃宗说：
“建宁王确是帅才，才堪大任，可事情一牵扯到权位，就不那么简单了。天下兵马元帅位高权重，一旦建宁王身任此职，不仅广平王不服，只怕群臣也会猜疑陛下心有所属，无端生事，这样朝廷就难安了。”
唐肃宗漠然道：
“你想得太复杂了，何至于此呢？广平王为嫡长子，自该由他继承皇位。建宁王能征善战，由他领军再合适不过，朕这是因材施用，岂有他意？”
李泌反问说：
“陛下无心，他人也会无意吗？一旦建宁王担任兵马元帅，邀宠者便会趋奉他，广平王便会忌恨他，别有用心者便会违逆他，如此下去，人为私利，各结死党，攻伐不休，以往太宗的‘玄武门之变’的事就会重演。无论他们兄弟谁胜谁败，都是陛下所不忍看到的，陛下岂能种下此患？”