听說楊素死了，煬帝非常高興，說道︰「老賊終于死了，朕沒有什麼怕的了——」從此以後，煬帝日夜和蕭後在宮中恣行yin樂，全無忌憚。這一天喝完酒以後，煬帝對蕭後說道︰「前幾天朕想建造游玩的地方，被楊素這老賊阻擋；想選幾個美女，又被這老賊攔回。如今老賊已經死了，朕想干什麼就可以干什麼了，估計再也沒有人敢阻攔了！」蕭後說道︰「雖然沒有人敢阻攔了，也應該慢慢來。造了一處，再造一處未為不可。」煬帝道︰「御妻之言有理。」第二天煬帝駕臨偏殿，對宇文愷、封德彝二人說道︰「自古以來的帝王，都有離宮別館，作為游樂的場所。現在如此富強，如果不及時行樂，空守江山，讓後人笑話。洛陽乃是天下的中心，現在可改為東京，造一所顯仁宮，即可以作為四方朝拜的地方，又可以讓朕在閑暇的時候逍遙游樂。兩位愛卿是否能夠為朕辦好此事？」宇文愷奏道︰「古代的帝王都有像樣的宮殿讓諸侯朝拜，舜有兩處，文王有靈台、靈沼，都是非常豪華的宮殿。現在陛下雖然繼位不久，已使胡越成為一家，造顯仁宮以彰顯天朝的德行，正與舜帝、文帝一樣，臣等怎敢不效力！」煬帝大喜。封德彝又奏道︰「天子造殿如果不夠寬廣，不足以壯觀；如果不富麗堂皇，不足以樹德。必須南接皂澗，北跨洛濱，挑選天下的良材異石與各種奇花異草、珍禽異獸，放在里面，才可以作為天下萬國瞻仰的地方。」煬帝大喜，說道︰「兩位愛卿就盡力而為吧，朕自然不會虧待你們。」于是煬帝就傳命令宇文愷、封德彝在洛陽營造顯仁宮。凡大江以南、五嶺以北，各樣材料都要任其選用，不得違誤。二人領了聖旨出去了，早驚動了滿城百姓。
高潁听到了這個消息以後，連忙來見賀若弼，高潁說道︰「主上驕奢無度，一點都沒有君主的樣子了，現在又大造宮室，這樣下去社稷怎麼能夠長久呢？」賀若弼說道︰「先朝老臣楊素已經死了，老臣中只有你我二人還在。如果咱倆不說，再沒有人敢說話了，明天入朝，定當死諫。」二人就這樣商量好了。
第二天煬帝早朝，眾位官員朝賀完畢，高潁、賀若弼二人同出班奏道︰「老臣听說聖明的君王治理國家，應當以節儉為先。昔日先帝命令楊素造仁壽宮，嫌造得太奢華，就想斬了楊素，認為這是和天下百姓結怨。從此以後先帝非常節儉，二十多年過去了，才有今天的富強。陛下正應當繼承先帝的遺志，為何還要建造宮殿，勞民傷財？」煬帝說道︰「朕為天子，富有四海。造一座宮殿，也用不多少民力，也花不多少錢，如何就見得勞民？如何就見得傷財？」二人又奏道︰「節省就會富裕，浪費就會貧窮。今年西域裴矩開市，花費的銀錢何止千萬！陛下巡狩薊北，耗費的銀錢又何止萬萬！現在這個宮殿一定不能再建造了。天下雖大，怎麼能供得起無窮無盡的消耗呢？望陛下三思。」煬帝大怒說道︰「你二人屢次誹謗君父，前日在大斗谷中，因為死了幾個軍士，就一個誹謗朝廷沒有綱紀，一個誹謗朕奢侈之極。朕念你們是先朝臣子，不忍心加罪。今天又在朝廷之上，百官之前，口出狂言，全無君臣體統！如果不斬你二人的首級，如何發泄朕心中的憤怒！」二人奏道︰「臣等死不足惜，但可惜先帝的錦繡江山，就要毀于一旦了！」煬帝更加憤怒，說道︰「江山就是毀了，也不容你這樣毀謗君父之人！」喝令殿前帶刀指揮，推出斬首示眾。
眾指揮看煬帝已經傳下旨意，不敢不遵，只得帶著軍校一涌上前，把二人的管帽摘了，官服月兌了，然後繩捆索綁，推出午門。二人大聲喊道︰「陛下殺臣，成全了臣忠義的名聲，可以到地下去見龍逢、比干了。只是不知道陛下以後有何臉面去見先帝？」煬帝大罵道︰「朕無臉面去見先帝，你這兩個謗君的逆賊，倒有臉去見龍逢、比干？」煬帝拍著龍案，喊道︰「快給我斬了！」滿朝文武百官都嚇得面如土色，戰戰兢兢，哪個還敢說話。只有尚書左僕射蘇威與刑部尚書兼御史大夫梁毗一齊出班奏道︰「高潁、賀若弼乃是朝廷大臣，竭忠敢諫，無非是為陛下的社稷考慮。縱使二人有罪，只可降調免職，怎麼能夠處以極刑，讓天下人認為陛下專殺大臣？」煬帝氣憤地說道︰「大臣不可以殺，難道天子就可以侮辱嗎？你倆和他倆一樣，仗著是先朝臣子，每每互相標榜，朋比為奸！朕不斬你倆已經是萬幸了，還敢來花言巧語，為他倆說話！」煬帝說完，下令免了二人的職，亂棒打出。蘇威、梁毗都被貶了，誰還再敢進諫？可憐高潁與賀若弼兩個忠臣，面對著面被斬了頭。原來高潁的母親非常賢明，常勸高潁急流勇退，說道︰「你富貴已經到了極點，就差砍頭了。」高潁不听，不幸被高母言中。
煬帝殺了高潁、賀若弼，又貶了蘇威、梁毗，滿朝震驚，你看看我，我看看你，沒有人敢說半個不字。虞世基、裴矩等一些奸官靠著阿諛奉承，更加得勢。
宇文愷與封德彝領了造顯仁宮的旨意，直接來到洛陽地方，一面選擇地形，破土動工，一面派人到天下各個地方，選取奇材異木以及各樣珍怪之物。水路用船，陸路起夫，都運送到洛陽，搞得老百姓日夜不得安寧。不要說幾十圍的大木材，三五丈的大石料，就是一草一木，也不知花費多少錢糧，累死多少性命，才能夠運到洛陽。不要說經過的地方百姓受害，就是深山窮谷之中，覓奇禽，尋異獸，也攪得雞犬不安。宇文愷與封德彝哪里管民間死活，府庫空虛，只是精上求精，麗中窮麗。蓋得一座顯仁宮，金輝玉映，就如九天仙闕一般。
顯仁宮完工以後，宇文愷派快馬上報煬帝，請煬帝幸臨參觀。煬帝聞奏大喜。就別了蕭後，發車駕望東京而來。不一日到了顯仁宮，宇文愷、封德彝接住朝見以後。就引著煬帝的御駕，從正宮門開始，一邊走一邊一層層地觀賞。但見︰
飛棟沖霄，連楹接漢。畫梁直拂星辰，閣道橫穿日月。瓊門玉戶，恍疑閬苑仙家；金碧瑤階，儼是九天帝闕。簾櫳回合，鎖萬里之祥雲；香氣氤氳，結一天之瑞靄。紅勝錦，白如綿，丹墀內有奇花異草；嬌解言，巧有舞，曲檻中有怪獸珍禽。亭榭中紅香綠女敕，四季春風吹不謝；樓台上翠繞珠圍，一天明月去還來。涼 度楊柳橫塘，金氣入芙蓉小苑。影蛾池中發風流，鵲樓中多富貴。畫棟朝飛南浦雲，真個的勝過結綺；珠簾暮卷西山雨，果然是壓倒臨春。
煬帝一一看了，滿心歡喜，說道︰「樓台富麗，殿閣崢嶸。以後四方來朝貢的時候可以在這里接見了。兩位愛卿立了大功。」煬帝說完，就下令重重賞賜二人，還留二人在顯仁宮游賞。
這一天煬帝在後院中宴賞，見百花開放，紅一攢，綠一簇，都不是尋常顏色，就問宇文愷與封德彝二人︰「這些花木是從哪里移來的，開得這般鮮艷可愛？」宇文愷奏道︰「這些花木各個地方的都有。如這些碧連、丹桂，銀杏、金梅，垂絲的弱柳，夾竹的桃花，這樣的上品都是揚州江都出產的。」煬帝又問道︰「為什麼這麼秀美的花木都出產在江都？」宇文愷說道︰「古時候有人願意‘腰纏十萬貫，騎鶴上揚州。’又有詩雲︰‘誰知竹西路，歌吹是揚州。’自古以來，江都都是最繁華的地方。」封德彝又奏道︰「這些花木還不是江都的上品。臣听說揚州蕃厘觀有一株瓊花，開花似雪，香飄十幾里地，全天下再沒有第二株。這才算江都的一品。」煬帝說道︰「既然有這麼好的花，為什麼不移過來？」封德彝說道︰「這瓊花鐘情于江都的秀氣，就這一株，一分即死，再種不活，所以不敢動移。」煬帝見二人說得十分動興，就欣然說道︰「江都風景這麼好，朕為天子，怎麼能不去看看呢？」就問道︰「從東京到江都有多少路程？」宇文愷說道︰「大概有一千多里地。」煬帝說道︰「朕很想去，只是路途遙遠，不能多帶宮妃，恐怕旅途中寂寞，怎麼辦呢？」封德彝說道︰「這有什麼難的！以臣愚見，三十里一宮，五十里一館，只需起造四十多座離宮別館，就可以從京師到達江都了。宮館內多選些美女佳人，命幾個太監掌管。陛下要幸江都，也不必行軍馬，動糧草，乘一輛輕便的車子就行了。一路上處處有宮有館，有妃有妾，可以隨心受用，任意逍遙，就像在宮中一般，還愁寂寞嗎？」煬帝大喜，說道︰「既然這樣，朕決定要去江都。兩位愛卿還得再辛苦一下，這些宮館還要讓你倆建造。不論多長時間，只要盡美盡善。」二人說道︰「臣一定效勞！」煬帝大喜，就留二人在後院中賜宴。
酒宴結束，二人謝恩領旨而出。依舊去號召那一般奇工巧匠，往江都一帶地方選擇地形，起造宮館。或三十里一處，或五十里一處；或是背山，或是臨水，都在風景秀麗的地方選址。從東京開始一直到江都，共選了四十九處地方，都是讓本地郡縣備辦材料，派人工。可憐這些郡縣，為一所顯仁宮已拖累得倉庫空虛，官死民疲，怎麼承擔得起又造起四十九所宮殿？就是有神輸鬼運的手段，也不能措辦得來。四境內只聞得哭聲遍野，一路上只看見急氣沖天。宇文愷與封德彝就如耳聾眼瞎一般，只一味嚴加催督，哪里肯寬一毫！郡縣官員稍有遲延，便請旨將他處治。正是︰
上博一人恩似水，誰憐萬姓死如麻。
不知國破奸臣戮，一樣垂楊泣暮鴉。