最後在上官棋的堅持下，她就隨著北堂凌絕一齊回到了煙城皇宮。這次隨行的還有虞陽，因為她也想她的姑女乃女乃了，而且這次北堂凌絕還要將自己這個表妹公告天下，封她一個郡主的稱號。虞烈和程楚馨也答應了，女兒也有十八歲了，到了找婆家的年紀。老跟著他們到處行走，也不知道何時才能找到自己的如意郎君，現在這樣跟著凌絕進宮既可以看望久別的姑女乃女乃，也可以為她張羅一門好的親事。
虞陽是更加樂意的，她要看著師姐逃出表哥的魔爪。
回宮之後，上官棋沒有等到聖旨下來就搬去了輕煙苑。她沒有去見任何人，只是將那塊從太皇太後那里拿來的令牌交給小璇，要她拿去還給太皇太後。
北堂凌絕忙著一些交接工作，他沒有時間去找上官棋，完全不知道此時的上官棋已經住進了輕煙苑。等到他忙完的時候，一切已經塵埃落定了。大臣們一再的催促要將棋妃處置，太皇太後也在強調子嗣問題，而虞陽也在一邊嘰嘰喳喳，弄的他煩不甚煩。
最後想想，如果照大臣們的意思就要將上官棋發配到邊疆，而他自己知道上官家根本就沒有任何的錯誤，只是他對于上官家的仇恨一直放不下。很快他就頒布了旨意，將棋妃遣入輕煙苑，永世不得外出，以平息朝臣的意見和憤怒，不過還是有保留的。其實那些大臣們也只是應和一下衛景灝的，看到衛景灝沒有說什麼，也就沒有再反對了。本來衛景灝只是受人之托，現在皇上已經做出了決定，所以已經開始籌備著何時離開了。但事實上他想要離開可不是這麼簡單的，白牧之一直就在暗中觀察衛景灝的表情，他注意到衛景灝在皇上頒布旨意的時候，沒有欣喜，沒有憤怒，有的只是一種目的達成之後的安心，好像是松了一口氣。看來這個衛景灝是被人安排到這里的，但是誰安排來的目前還看不出來。最有可能的是棋妃，因為棋妃現在正在與皇上冷戰，更甚至是厭恨聖上的，而她本身就想要離開皇上，只有靠朝堂的力量與百姓的言論來壓迫皇上，以逼得皇上妥協。
「衛大人今日是否有時間到寒舍坐坐？」白牧之下朝之後堵住衛景灝的去路，他一定要清除皇上身邊的禍害。
「好吧。」衛景灝知道這次不能推月兌，就直接答應好了，反正自己很快就要離開了。
到了白府之後，白牧之開門見山的問︰「說吧，你來朝堂到底是為了什麼？」
「白大人此話什麼意思？衛某出山不是您和聖上親自去請的嗎？」衛景灝當然不會說出自己來朝做官只為上官棋的一個請求。
「沒記錯的話，衛大人對做官可是沒有什麼興趣的？」
「的確是這樣的，衛某只為除掉棋妃這一禍害，如今棋妃已被聖上打入冷宮，再無出宮之日，衛某也該退隱了。」衛景灝順著話接下去，這樣就有一個離開的征兆。
「衛大人要離開？」白牧之沒想到衛景灝這麼快就要離開紫金王朝的朝堂。
「這不正是白大人此時心中所想嗎？怕衛某居心不良，危害到當今聖上。」衛景灝知道白牧之心中想的是什麼。
「衛大人這話怎講？」白牧之未曾料到衛景灝還有讀心的的本事。
「這個你我心知肚明，你盡可以放心，衛某不會危害到聖上，也不會對誰不利。告辭！」語畢衛景灝就離開了白府，連一口水都沒有喝，甚至連板凳都還沒有坐熱。