宇文愷與封德彝領了建造離宮別館的旨意以後，在江都一帶地方，騷擾得地方官府疲憊不堪，老百姓愁苦難熬——不論白天黑夜，道路上都能听到呼號之聲，不是搬磚，就是運木。宇文愷還嫌工程進展得太慢，和封德彝商量了以後，又從東京點出二百員官吏，分頭催督。有的地方官員稍有遲延，宇文愷就指名道姓，參奏處死。地方郡縣的官員真是求生不得，求死不能。起初只是點選精壯勞力做工，後來人數不夠，只得將老老幼幼，婦人女子，都弄來搬泥運土，就是那些偏遠的鄉村也不能幸免。精壯的年輕人還能勉強熬得住，可憐那些老幼婦女，怎麼能受得了這樣的苦役！不幾天就死了一些，再過幾天又死了一些，一個多月的時間，死亡的尸體填街塞巷，到處哭聲不絕。郡縣官看了，也忍不住傷心落淚，卻又無可奈何。只得叫百姓趁著裝木料的車子，把尸體運到荒郊野外埋了。怎奈人員相繼死亡，埋了一批，又是一批。可憐東至成皋，北至河陽，這一路上抬尸骸的與抬木石的，相伴而行。
煬帝自從去了顯仁宮以後，駕著車天天在東京游幸。花如錦繡，酒若澠河，真個朝朝暮暮，飲酒作樂，說不盡君王的樂趣。原來隋朝的天下，多虧了文帝勤政節儉，全國各地兵精糧足；君臣又勵精求治，所以外國的胡夷，不但畏懼而且打心眼了佩服，年年納貢，歲歲來朝。這一年各個外國派來的的酋長，知道煬帝在東京受朝，就一個個都到洛陽來進貢。煬帝見各國來朝，心中大喜。想顯擺一下天朝的富貴，暗中傳旨︰不論城里城外，凡是酒館飯店，只要有外國人來飲食，都要好酒好菜招待，不許收錢。又命令把大街上的樹木，都用綢緞結成五彩。端午門大街一帶地方，都要嬌歌艷舞，盛陳百戲，讓外國人見識見識天朝的繁榮富貴。百官領旨，真就在端午門大街上，搭起了無數的錦篷，排列了許多的繡帳。命令那些樂戶，或是蠻歌，或是隊舞。有一處裝社火，有一處踩高橇；有幾個舞柘板，有幾個演百戲。滾繡球的團團而轉，耍長竿的高入青雲。軟索橫空，弄丸夾道，各式各樣的技藝，都在五鳳樓前賣弄。雖然不是聖世風光，倒也熱鬧好看。御街上的游人擁擠不堪。
外國人看了以後，都驚訝地說道︰「中華如此富麗，真天朝也！」三五成群，前去游賞。也有到酒肆中飲酒的，也有到飯店中吃飯的，拿出來都是美酒佳肴。吃完了要付錢的時候，店主都說道︰「我們中國十分富裕，這些酒食，都是不要錢的。」外國人都歡喜地說道︰「原來中國的風俗，這麼有趣！」便來來去去，酒飲了又飲，飯吃了又吃。這幾個醉了，那幾個又來；那幾個飽了，這幾個又到。就如走馬燈一般，沒完沒了。煬帝在端門樓上，听見外國人都羨慕中國，滿心歡喜，說道︰「這些外國人都高興了。」外國人都隨意游玩，落得受用。兩天以後，煬帝暗中派人問外國人︰「你們外國也有中華這樣富盛麼？」幾個狡猾的外國人出來答道︰「俺們外國雖然沒有這樣富盛，卻都吃得飽穿得暖，不像中國，還有沒衣穿沒飯吃的窮人。」又用手指著樹上的彩緞說道︰「這東西，施舍給那些窮人穿穿也好，拴在樹上有什麼用？」說完，這些外國人哈哈大笑，面露嘲笑之色。煬帝知道了以後，勃然大怒，說道︰「外國焉敢譏笑天朝？」便要殺這些外國人。眾官慌忙勸道︰「外國跋山涉水而來，如果因為一句話就把他殺了，顯得陛下沒有容人之量。」煬帝生了半天氣才答應不殺。然後傳旨，賜宴以後，把這些外國人全部打發走。
沒過多久，煬帝又覺得顯仁宮沒意思，命令駕車回西京。回到宮中以後，蕭後接住說道︰「陛下在顯仁宮玩得很開心吧，也想過妾在深宮中是否寂寞嗎？」煬帝說道︰「朕很想和御妻一同快樂，只恨路太遠了，往來不方便。」蕭後說道︰「這麼說，妾再也不能到東京了嗎？」顯得悶悶不樂。煬帝說道︰「御妻不要生氣，東京顯仁宮，不過是幾間宮殿，沒有什麼好玩的，朕已經厭煩了。明天我派人在顯仁宮旁邊選一塊寬大的地方，另造一所園林，朕和御妻索性遷到東京，天天在那里游賞，好不好？」蕭後一听，轉憂為喜，說道︰「如果是這樣，臣妾謝謝陛下了。」于是蕭後就命人擺酒宴給煬帝接風。
第二天，煬帝坐在偏殿中，把虞世基宣來，對他說道︰「顯仁宮雖然華麗，不過是高房大殿，接待四方各國還可以，如果說到游覽，畢竟還是有山有水，有亭有榭才妙。朕嫌西京太簡樸了，想遷都東京。必須另外造一所園林，以備游玩。里面要有山有湖，可以泛舟而嘲風弄月，可以暢游而飲酒賦詩。朕閑暇的時候，和你們在里面游玩，不是很快樂的事嗎？你現在就可以去選擇地方，專門負責這個事情。」
虞世基領旨以後就動身了，到東京第一件事就是選擇地方。虞世基四處勘察，只有城西一帶寬廣空闊，可以建造。于是就命人丈量了大小，看好的地形，回奏煬帝︰「臣在顯仁宮西面選了一塊地方，地勢豐厚，完全可以起造園林。如果將那里的民房拆去，周圍足有二三百里寬闊。」煬帝說道︰「這麼寬闊，怎麼建造啊？」虞世基說道︰「以臣愚見，南半邊可分東西南北中，挖它五個湖，每湖要方圓十里，四周都種上奇花異草。湖旁開幾條長堤，堤上百步一亭，五十步一榭，兩邊都要桃花夾岸，楊柳分行，再造些龍舟鳳舸，以備宴游。向北這半邊地勢寬廣，可以挖掘一個圓形的北海，周圍要四十里，開掘渠道與五湖相通。海中間可以建造三座山︰一座蓬萊，一座方丈，一座瀛洲，就像東海里的三座神山一樣。山上多造樓台殿閣，四圍掩映；山頂要高出百丈，東京的箕山、潁水，便可一覽無余。又可以回眺西京，又可以遠望江南。湖海交界的中間地帶，建造正殿。海北一帶，可委委曲曲鑿一道長渠，引接外邊的河水，隨灣就灣，一定要縈回婉轉，和北海相通。長渠的兩旁風景美麗的地方，可以建造十六座宮院，讓宮娥采女住在里面，以備游幸。這就是臣的意見，請聖上裁定。」煬帝听完以後，哈哈大笑，說道︰「愛情太有才了，設計得井井有條，朕很滿意。你趕快去吧，火速建造，朕隨後就遷到東京，以觀落成。」虞世基說道︰「請陛下給園林賜名，以便號召天下。」煬帝說道︰「地方就在顯仁宮西邊，就叫做西苑吧。其余的五湖十六院等建好了，朕再起名。你一定要盡心盡力，越華麗越好，千萬不能要簡陋了。」虞世基領旨，立即會同各個衙門先將那地方的民房拆毀。也不論是田是地，也不管種桑種麻，全部都讓人毀了。可憐這二百里內的居民，就如遭水淹遭火燒一般，好好的一個家當全部沒了，只得抱男攜女，哭哭啼啼，到各處去逃生。
虞世基就像秦始皇築長城一樣，先叫人在四周打起圍牆；又像夏禹治水一樣，叫人挖掘了五個湖，一個北海，一條長渠。又像五力士開山，又像女媧煉石補天。海中又叫人一層層，堆起了三座大山，園林當中又造起一座大殿，渠旁又造了十六所宮院，四下里又造了千百間的樓閣亭台，湖海中又做了無數的龍舟鳳舸。苑牆上都以琉璃作瓦，胭脂泥壁。五湖和北海的岸邊，都以青石砌成；長渠的溝底，都用五色石鋪成。清泉流過，水波蕩漾，就像五彩的玉帶。三座神山，都用長峰怪石疊得嶙嶙峋峋，就像天生的三座石山，一點也不像是人力築成的。亭台樓榭用的都是奇材異料，金裝玉裹，渾如錦繡裁成，珠璣造就。每一座建築無論大小，都是當時天下最好的。虞世基又傳敕令︰各郡縣地方，凡有花木禽魚，都要運到東京進貢。沒用多長時間，普天下的奇花異草，走獸飛禽，都從各個地方獻入東京。就是西京有好的東西，也都運來了。把一個西苑填塞的桃成蹊、李列徑，梅繞屋、柳垂堤，仙鶴成行、錦雞作對，金猿共嘯、青鹿交游。就像自然生成的一般，只苦了四方的百姓，拖累的骨血淋灕。這一場土木之工，也不知耗費多少錢糧，也不知坑害多少性命，才得以完成。虞世基造完了，便上表請煬帝親自來看。原來煬帝是個急性子人，此時已同蕭後帶著後宮妃妾，遷到東京，專等西苑竣工。這一天正在顯仁宮與蕭後看花飲酒，忽然看見虞世基來請，煬帝滿心歡喜，便撇下蕭後，乘一輛快車到西苑來看。來到苑中，只見五湖蕩漾，北海汪洋，三神山佳氣嶙峋，十六院風光淡爽。每一處都造得精美富麗，不像是人間，就像九洲仙島，極樂瓊宮。後人有詩單道這五湖之妙︰
五湖湖水碧浮煙，不是花圍便柳牽。
常恐君王過湖去，玉簫金管滿龍船。
又有詩單道這北海之妙︰
北海涵虛混太空，跳波逐浪遍魚龍。
三山日暮祥雲合，疑有仙人咫尺逢。
又有詩單道這山之妙︰
三山萬疊海中浮，雲霧縱橫十二樓。
莫訝移來人世里，若無仙骨亦難游。
又有詩單道這長渠之妙︰
逶迤碧水繞長渠，院院臨渠花壓居。
不是宮人爭斗麗，要留天子夜回車。
又有詩單道這樓台亭榭之妙︰
十步樓台五步亭，柳遮花映錦圍屏。
傳宣半夜燒銀燭，遠近高低燦若星。
煬帝一一看了，滿心歡喜，說道︰「此苑造得大稱朕心，愛卿功勞不小。」虞世基奏道︰「這是因為陛下福德寬廣，天地鬼神顯靈，小臣何功之有？」煬帝問道︰「五湖十六院，可曾有名？」虞世基說道︰「專等陛下裁定。」煬帝就駕著車到各處仔細觀看，每一處都定了名字。你知道是什麼名字嗎？
東湖，因四周種的都是碧柳，又與兩山的翠微與波光相映，遂命為翠光湖。
南湖，因有高樓夾岸，倒射日光入湖，遂名為迎陽湖。
西湖，因有芙蓉臨水，金菊滿山，又有白鷺晴鷗時時來往，遂名為金光湖。
北湖，因有許多白石若怪獸，高高下下，橫在水中，微風一動，清沁人心，遂名為潔水湖。
中湖，因四周寬曠，月光照人，宛若水天相接，遂名為廣明湖。
第一院，因南軒高敞，時時有薰風流入，遂名為景明院。
第二院，因有朱欄曲屈，回壓瑣窗；朝日升起，百花嫵媚，遂名為迎暉院。
第三院，因有梧桐數株，流陰滿院；秋風吹來，葉葉有聲，遂名為秋聲院。
第四院，因將西京的楊梅移入，開花若朝霞，遂名為晨光院。
第五院，因有酸棗、玉李幾株，開花雖白，麗勝霞彩，遂名為明霞院。
第六院，因有長松數株，俱團團如蓋，罩定滿院，遂名為翠華院。
第七院，因隔水突起一片石壁，壁上的苔痕縱橫，就如天成的一幅畫圖，遂名為文安院。
第八院，因桃杏列作錦屏，花茵鋪為繡褥，流水鳴琴，新鶯奏管，遂名為積珍院。
第九院，因長渠中碎石砌底，簇起許多細細的波紋；日光一映，都射入簾櫳之內，連枕簟上都有五色之痕，遂名為影紋院。
第十院，因四周都是疏竹環繞，中間卻突出一座丹閣，就像鳳鳴一般，遂名為儀鳳院。
第十一院，因左邊是山，右邊是水，取樂山樂水之意，遂名為仁智院。
第十二院，因亂石疊斷出路，唯有乘小舟方能出入，中間桃花流水，別是一天，遂名為清修院。
第十三院，因種了許多樹，盡以黃金布地，就像寺院一般，遂名為寶林院。
第十四院，因有桃蹊桂閣，春可以納和風，秋可以玩明月，遂名為和明院。
第十五院，因晚花細柳，凝陰如綺，遂名為綺陰院。
第十六院，因有梅花繞屋，樓台向暖，憑欄賞雪，了不知寒，遂名為降陽院。
長渠一道，透迤如龍，樓台亭榭就像鱗甲一般，遂名為龍鱗渠。