酈商雖沒被排進功臣表，但也是挺張派，因為哥哥酈食其的原因，深得皇上的信任，現在是軍中的實權派。他得知張良任丞相一事被擱淺後，馬上來到張良府上，非常氣憤地說︰「這明顯是有人暗里搗鬼，我們要聯合起來，跟他們斗，非把這件事情搬過來不可。」
「萬萬不可，酈將軍，那樣更會引起皇上的猜疑。你听我的沒錯，這件事情不是硬搬能搬過來的，順其自然吧。」張良勸止說。
「唉，皇上怎麼能信這些人的。」酈商說。
把幾個異姓王打掉後，劉邦先後封了幾個幼小的兒子為王。但除了長子劉肥外，其他皇子都因為年齡太小不能到封地上任。借著這個原因，劉邦分別讓功臣排序表中所列的幾個武將擔任了這些地方的相國，代為理政。任命樊噲為代相，周勃為趙相，灌嬰為陳相，曹參為齊相。任命曹參時，曹參說︰「其他國家都是因為國王不能到國履職，需要設立相國輔政，齊王已有單獨執政能力，我就不必去了。」
劉邦說︰「正好相反，曾听田肯說，這里仿佛東西二秦，守住這里就等于守住半個天下，齊王雖說年齡長一些，但我仍對他不放心，你是打仗最勇敢的，所以讓你去鎮守這個地方。」
其他幾個人目前在朝中都算重臣，現在讓他們為劉邦的兒子去打下手，等于降了幾級，心里自然不高興。但看大將軍的話都被撥回，知道說也沒用。蕭何、張良目前都被掛著，這件事情找他們也沒用。唯一的希望就是求皇後講講情，看能不能不去。
呂雉弄明白他們的來意，笑著說︰「我先祝賀你們。這是好事啊，皇上讓你們到這些地方去，一是信任你們，二是你們現在雖然在朝中都做了大官，但並沒有多少事做，你們都是忙慣了的，到了這些地方正可大顯身手。三是你們雖是到外地任職，但爵位食邑並沒有降低，十有###到了地方還能大財呢。」
「姐姐又給我們開玩笑了，我們都是老大不小的人了，這一去不知什麼時候才能回來。」樊噲煩悶地說。
呂雉說︰「你們幾個都不是外人，有些事我是能替你們擔保的，真到老得腿腳不行了，皇上自會把你們調回來。行了，不要有別的想法了，趕快去上任吧。」
支持張良的一些人6續被調離長安。但因為讓張良做丞相的話是劉邦親口說的，二人從前又是魚水相依的關系，現在要說不讓干了，劉邦怎麼也張不開口。時間一拖就是二年。蕭何一直做太子監國，為了對張良有個交待，他封張良為太子太傅，即做劉盈的老師。張良這一次是有意和劉邦較勁，心里想，你讓我做什麼都答應，就是不說不做丞相的話。劉邦拿這一點辦法都沒有。
丞相的問題一日不解決，劉邦的朝廷就不是一個完整的朝廷，他整天還要為些瑣事忙得要死。張良因為這件事，也把自己搞得很不愉快，身體比以前更差了，經常生病。一日劉邦又來看視他，見到張良的兩個兒子年及束，馬上有了主意。
第二天早朝，劉邦問了一下幾個地方的情況，作出一項決定︰「任命張良的大兒子張無猜（大鎖）為都城戍軍都尉；把現任沛縣縣令調出，任命張良的二兒子（二鎖）張不疑為沛縣縣令。」
張良知道這個消息後，馬上來見劉邦推辭，說︰「他們兩個還是孩子，能做什麼官，求皇上快把這個決定撤銷了。」
劉邦說︰「你為漢朝做出那麼大的貢獻，我一直沒能好好補償你，你又不願意做官，讓我拿什麼感謝你呢。孩子現在不小了，就叫他們學著做些事吧，再大些我還要封他們為侯。」
張良心想，我是不願意做官嗎？是你不想讓我做。當場只好謝了。回到家之後，張良又想了許多，皇上和他既是君臣關系，又是朋友關系，為了一個丞相職位的事，已讓他絞盡腦汁，煞費苦心。這個事不能再僵持下去了，再這樣下去一是要影響二人之間多少年的關系，二是自己的身體已不允許擔任這個繁重的任務。
這天下午，劉邦正在練書法，張良走了來，夸了一通皇上的書法大有長進，然後終于捅破了那層困擾君臣多日的窗戶紙。張良說︰「開國已有幾年，丞相一職一直空缺，弄得皇上干了不少丞相的活，您太累了。我知道皇上怕傷我的心，所以一直沒有任命別人。我對功名雖說沒有完全拋棄，但確實看得很淡，皇上大可不必為我考慮。另外，我身體也確實難當此任。蕭何做事嚴謹，為人老誠，又有這方面的經驗，是現成的丞相人選，皇上就任命他吧。」
劉邦終于等到了這一天，當下放松地說︰「子房處處為我為社稷著想，我還能說什麼呢，只有從心里感謝你了。」
辦完了這件事，張良的心灰得更很了，身體也徹底垮了。他分別向劉邦、呂稚辭行，說︰「附近有個張公山，林深樹茂，可能就是為我而設的，我打算隱逸其間，圖個清靜，修養身體。」
呂雉看出他萬念俱灰的樣子，到了那里不死得更快才怪，說什麼不同意，勸止說︰「那里面什麼都沒有，到了那里怎麼生活？我這里虞姬懂得很多的醫道，我作媒，你娶了她，讓她給你好好保養保養吧。」
張良說︰「那怎麼行，我打算歸隱山林，怎麼給讓虞姬年輕輕的跟我去受那份罪。」
「承認自己是去找罪受吧。你就大隱隱于市吧，我讓皇上在西山給你蓋一處別墅，你老實在那里呆著，我有事也好找你商量，其余哪里也不準去。」呂雉說。
三個月後，張良攜虞姬在西山安了家。