不久，刘邦特召太子宴饮，实际上想考察虚实。“商山四皓”听说了，也跟太子一起进宫。刘邦见太子身后坐着四位须眉似雪、道貌岸然的老者，十分惊异地问是什么人。四位老者一一自叙姓名。刘邦非常惊愕地说：“我访聘你们已有好几年，你们总是不来，现在难道是跟我的儿子交游吗？”“四皓”齐声回答说：“陛下轻贱士人，随便辱骂，我们忍受不了污辱，才不来见您。现在听说太子仁厚爱士，天下士人都伸长了脖子盼望太子，愿为太子效死。我们几个人特意远道而来，是想敬奉辅佐太子。”刘邦听了，叹息不已。等太子和“四皓”离开时，刘邦急忙把戚姬叫来，指点着“四皓”的背影说：“不是我不愿立如意为太子，实在是太子羽翼已成，已不能废弃了。”戚姬听后，知道再无希望，当即悲凄欲绝。刘邦也不免伤感，为戚姬作“鸿鹄高飞”词，高声吟唱，音调凄楚。
应该说，张良用“商山四皓”为太子提高威望的这一招，并非张良的独创，早在《战国策》中就有记载了。当时，苏代为燕国游说齐国，在没有见到齐威王之前，先对淳于髡说：“有一个要卖骏马的人，一连三天，每天早上都牵着马站在市场的头上，但没有人知道这是一匹骏马，所以无人问津。他去见伯乐说：‘我有匹骏马想卖掉它，接连三天早晨我都来到市场上，却没人来问价。希望您能够绕着我的马细看一番，在离开以后，再回过头来看看我的马，请允许我献给您一早晨的费用，不知是否可以？’伯乐答应了，于是就绕着马细看一番，离开后又回过头来看了一下。这样一来，这匹马当天早晨就长了十倍的价钱。如今我想把‘骏马’送给齐王看看，可是我找不到替我前后周旋的人。先生有意做我的伯乐吗？请让我献上白璧一双、黄金千镒，以此作为您饲马的费用。”淳于髡说：“我愿意听从您的命令。”于是入宫劝说齐王接见并重用苏代。结果齐王非常喜欢苏代，苏代也因而受到了信任和重用。这虽是纵横家编造的一个故事，但在政治上却屡试不爽。自此以后，刘邦就再也没有动过更换太子的念头。