第二天晚上，宇文邕沒有向高長恭辭行，便和自己的侍衛趁著夜幕離開了。一路上，侍衛曾問過宇文邕為何離開的如此匆匆，宇文邕則告訴侍衛不喜歡看分別相送的景象，倒不如如此來的痛快。
幾天後的中午，皇上的書房之內，皇上坐于書桌前，高孝瑜則坐在殿內的凳子之上。
「孝瑜，可都準備好了？」皇上端著茶杯，輕輕的抿了一口說道。
「恩，已經部署好了，可確保萬無一失。」高孝瑜說道。
「那好，今天晚上咱們就去挫挫他高歸彥的威風，打他個措手不及。」高湛笑著說道。
高歸彥，曾為高湛登上皇位盡過一些力。高湛即位後，進位太傅，領司徒，常听將私部曲三人帶刀入仗。從武成還都，諸貴戚等競要之，其所往處，一坐盡傾。歸彥既地居將相，志意盈滿，發言陵侮，旁若無人。因此惹得皇上有所忌憚。
晚上，高湛在高孝瑜等人的陪同下進了太傅府（高歸彥的府邸），並未故意掩人耳目，但卻無人向高歸彥稟報。高歸彥的管家將皇上引到一個房間說道︰「皇上，這個房間靠近老爺的大廳，一會兒老爺會客所說的話，您在這里可以听得一清二楚。」
「恩，退下吧。」高湛說道。
待管家退出去後，高湛對高孝瑜小聲的說道；「其實，這次我不想帶你來，我怕日後你會怕我也會對你這樣，但是，我現在真正敢相信的人只有你，而且這次都是你幫我部署的，所以只能讓你隨我一起來了。」是的，因為這次出宮，如果沒有將高歸彥府上的人全部變為自己人（當然所謂的變為自己人，有一部分是很久之前就安插進去的，有的是靠說教，有的是靠權利引誘，也有的是靠威逼），那麼無疑是將自己置于為難之中。而且如果把這件事情交給自己不信任的人，那個人很有可能會與高歸彥合謀，那麼自己的處境將更加危險。
「謝陛恤，我相信日後如果我不想太傅一般，陛下也不會如是對我。」高孝瑜說道。是的，自己的確怕過，但是後來知道怕也是沒有用的，只能告誡自己日後一定要更加嚴守克己。
「即便你如他一般，我也不會如此待你。」高湛笑著說道。
高孝瑜用細微的只有高湛能夠听到的聲音說了句︰「謝謝你，阿湛。」
兩人相視，會心的一笑，便沒有更多地話語。
沒過多時，高歸彥的賓客們都陸續到了，宴會之上，高歸彥犬馬聲色，時不時還對皇上說出幾句大不敬之語。皇上在屋內听著，笑容越發的寒冷。
「高乾和，擬詔書，太傅高歸彥，勞苦功高，免太傅等所有職位。封為冀州刺史，即日啟程赴任，未得召見，不得回宮。詔書明早頒給他」高湛還未等宴會結束便對隨從的大臣說道。
「臣遵旨。」
第二天清晨，高歸彥起床梳洗完畢後準備去上朝，到了門口之後，卻被門口的侍衛問道；「大人，你這是去上朝嗎？」
「廢話。」
「大人您不必去了，您上朝要見的人現在就在府上。」門口的侍衛說道。
「你什麼意思？」高歸彥機警的說道。
「皇上昨天晚上就已經來到府上了。」
「你說什麼？」高歸彥立著眼，掐著侍衛的脖子，想將所有的憤怒與恐懼全部發泄到那個侍衛身上，嘴里狠狠的說道。高歸彥已經知道事態的嚴重性，既然皇上能夠進到府中而不被自己知道，那麼自己府上的人都已經信不過，那麼自己原來在府上肆意說的那些忤逆的話皇上一定也都知道了。
「太傅，您打他也沒有用，皇上已在內殿等候您多時了！您還是趕緊過去吧！」高乾和笑著說道。
高歸彥看到這個自己昔日的手下，這個此時不該出現在自己府中的人，嘴中罵了句︰「你個叛徒。」便急著向自家的內殿走去。
高乾和則在後邊說道︰「我不是叛徒，我為臣子，臣子唯一該忠于的只有主上。」
高歸彥來到內殿，看到正襟危坐的皇上，腿一軟，一下子跪倒在地上。
「刺史這是做什麼呀？」皇上說道。「哦，對了。高乾和，趕快頒旨。」
「是，…。」高乾和將昨晚擬的旨意念了出來。
「臣領旨。」高歸彥接過聖旨說道。
「先和眹進宮吧。」皇上對高歸彥說道。
「是。」
一行人進宮後來到了青陽宮，高歸彥看到殿內全部都是武官，大部分都是自己的原來或者現在的部下，皇上又讓高乾和當眾念了一遍聖旨，卻是無人為高歸彥求情，高歸彥看到此景，淒然的笑了笑，笑這世態炎涼，笑這不念舊情。