高穎做了近二十年的宰相，與楊堅的矛盾與曾出現過，例如楊堅在開皇十八年的時候楊堅要攻打高麗，而高穎堅決不同意，但楊堅堅持要打，並派高穎為事實上的主帥，高穎只好服從。結果因為疾疫流行，軍隊十之**病死，無功而返。這件事本來是沒有什麼好挑剔的，可是孤獨皇後卻節外生枝，在楊堅面前中傷高穎，說什麼「高穎根本就不願意去，你強迫他去了，我就知道準是無功而還」。她的意思是說，高穎陽奉陰違，消極抗命。這孤獨皇後本與高穎關系蠻好的，只是那次統軍名義上大的主帥漢王楊諒受了高穎的氣向她告狀，所以她才為兒子出氣中傷高穎。原來在那次遠征中高穎掌握實際指揮權，而高穎為人，比較耿直，自覺責任重大，常常以大局為重，不避嫌疑。對于主帥楊諒的意見，也多不采納。所以楊諒恨透了他，返京後在母親孤獨皇後面前告他的狀說︰「兒萬幸沒有被高穎殺掉。」對于這些事情，楊堅就對高穎就有點憤憤不平，但是依然很是信任他。
高穎與楊堅幾十年的革命感情，楊堅是不會僅僅因為一兩次的政見不同或者其他人的中傷而罷免高穎的，楊堅對于高穎還是有著信任與重用，後來高穎還領兵出征過突厥呢。楊堅罷免高穎是因為高穎不支持自己廢太子，這是誰都不能反對的，所以高穎被罷免了。
楊堅知道高穎施支持太子的，所以曾經以一種商量的口吻問高穎︰「有神憑告晉王妃，言晉王必有天下，若之何」？高穎立即奏道「長幼有序，豈可廢乎？」表明自己是堅決不支持廢掉楊勇。高穎身為大隋最有權勢的當朝大臣，朝野威望極高，又作為太子在朝野的中堅力量，楊堅要廢太子只有把這個跟了自己幾十年的高穎罷免。
開皇十九（599年）年，當有人告高穎泄露宮廷秘聞時，楊堅不再像以前有人告高穎謀反是一樣殺了告密者，而是果斷下令追究高穎的罪行。對此上柱國賀若弼、兵部尚書柳述等一大幫朝廷重臣都上書申明高穎是被誣告的，楊堅存心要整高穎，所以就把這些為他求情的人交給執法人員問罪希望表明自己的決心。但是還是有不識趣的刑部尚書薛冑想依據刑律條文為高穎「明雪」辯解，楊堅為震懾朝臣，就讓人給薛冑帶上刑具，這樣一來就沒有人給高穎申辯求情了。八月楊堅正式下詔罷免高穎的尚書左僕射職務，讓他帶著一個齊國公的爵位回老家養老去，這意味著楊勇的**在朝野的徹底失勢。
高穎罷免後，雖然對于太子將被廢一事已經謠言四起，但楊堅沒有立即廢掉楊勇，而是在等高穎被免一事在朝堂引起的震動冷卻，因為朝廷的穩定才是頭等大事。直到開皇二十年(600)九月楊堅接到東宮官姬威關于太子楊勇的報告書時，楊堅才感到緊張，認為太子楊勇會狗急跳牆動手政變奪權。楊勇做了近二十年的開國太子可謂是根深蒂固、樹大葉茂，所以即使楊勇來自朝臣的最大支持高穎被罷免，其他勢力也都被楊堅打壓分化，但是如果楊勇發起狠來能量還是很大的。這也是楊堅想廢掉楊勇後不能立即廢掉，而是一步一步地消弱楊勇的勢力，使得廢太子一事水到渠成，這樣廢掉楊勇就不會引起朝野震動，甚至政變內亂。
為防止楊勇的狗急跳牆，楊堅接到姬威大報告書後立即從避暑的地方仁笀宮回到長安城。回去的時候，楊堅的車駕嚴加戒備，如臨大敵，警衛重重。當他晚上睡覺的時候楊堅甚至擔心出現兵變，竟然從後殿搬到前殿居住以望能及時掌握局勢。第二天早朝時，楊堅原以為朝臣都知道自己想廢太子的意思了，隨即問道︰「我新還京師，本應開懷歡樂，為何如此憂郁愁悶呢?」這就是希望朝臣能夠呈報太子楊勇的過錯，不知道吏部尚書牛弘是真的不懂還是裝著不懂忙稱「臣等不稱職，使陛下憂愁勞累」。楊堅一看臣子居然不識，當時就板起個臉，直接喝令將多個官屬太子左庶子唐令則等人逮捕交給有司問罪，最後直接叫楊素來陳述太子的過錯。
于是楊素就公開地說:「我奉旨到京師，命令皇太子查核劉居士的余黨。太子接到詔書，臉色大變，表情非常憤怒，他對我說︰‘劉居士的余黨都已伏法，讓我到哪里去追究呢？你作為右僕射，責任不輕，你自己去查核此事吧，關我什麼事！’又說‘過去的禪讓大事要是不順利，我先得被殺，如今父親作了天子，居然讓我還不如幾個弟弟，凡事都不能自作主張！’他就長嘆說︰‘我覺得太不自由了’」。
最後楊堅對朝會做了總結性的表示︰「這個兒子我很早就覺得不能夠繼承皇位了，皇後老勸我廢黜他，我認為他是我作平民時生的，又是長子，希望他能夠逐漸改正錯誤，我已克制忍耐到現在了。楊勇曾經指著皇後的侍女對人說︰‘都是我的’。這話說的是多麼地奇怪。他的妻子元妃剛死時，我很懷疑她是被毒死的，曾經責問過楊勇，他就怨恨地說︰‘應當殺掉元孝矩（太子妃的父親）。’這是想要害我而遷怒他人。長寧王剛出生時，我和皇後一起抱來撫養他，楊勇卻心中另有想法，連連派人索要。況且雲定興的女兒，是雲定興在外面私合而生，想到她的出身來歷，又何能說必定是他的子女呢？以前晉太子娶了屠戶的女兒，他的兒子就喜歡屠宰之事。如今他們不是咱們這一類人，會亂了宗祠。我雖然德行不及堯舜，但終歸不能把天下百姓交付給品行不端的兒子！我總擔憂他會謀害我，對他就象防備大敵一樣，現在我打算廢掉他以安定天下。」
對于廢太子雖然已經在朝野算是必行的事了，但是支持太子的人還是希望楊堅能在最後時刻不要下詔，所以左衛大將軍五原公元旻勸說楊堅道︰「立大事，詔旨若行，後悔無及。讒言罔極，惟陛下察之」。
楊堅已經一心想廢掉楊勇，所以反對的意見是多余的，為了廢太子一事變得理所當然，楊堅命令早已背叛了楊勇的東宮官員姬威把太子的罪惡都講出來。姬威回答︰「子向來對我講話，意氣極為驕橫，還說︰‘是有勸我的人，就該殺掉他。殺百把人，自然就永遠清靜了。’又營建樓台宮殿，一年四季都不停止。先前蘇孝慈被解除左衛率官職的時候，太子憤怒得胡子都翹起來了，他揮著胳膊說︰‘大丈夫終會有一天，不會忘記此事，一定要殺伐決斷以求痛快！’另外，東宮內所索取的東西，尚書經常恪守制度不給，太子往往立即發怒，說︰‘僕射以下的人，我可以殺一、兩個，讓你們知道怠慢我的災禍。’太子常說︰‘皇父厭惡我有許多姬妾，北齊後主高緯、陳後主陳叔寶是庶子嗎？’太子曾令女巫佔卜吉凶，他對我說︰‘皇帝的忌期在開皇十八年，這個期限快到了。’」楊堅听後流著淚說︰「誰不是父母所生，他竟然這樣！我近來翻閱《齊書》，看到高歡縱容他的兒子，就非常氣綴。怎麼能渀效這種人呢？」
最後楊堅下詔把楊勇和他的幾個兒子都拘禁起來，並逮捕了他的部分東宮官員，派楊素查清楊勇及**其他人員的罪行。後楊素秉承楊堅旨意先後把**的元旻、元弘投進了監獄，並奏報楊堅太子楊勇貯存火把兵器，飼養戰馬意圖謀反，同時把東宮的服飾玩器，凡是有雕刻縷畫裝飾的器物都陳列在宮庭里，展示給文武群臣，作為太子的罪證。
(