宇文恺与封德彝领了建造离宫别馆的旨意以后，在江都一带地方，骚扰得地方官府疲惫不堪，老百姓愁苦难熬——不论白天黑夜，道路上都能听到呼号之声，不是搬砖，就是运木。宇文恺还嫌工程进展得太慢，和封德彝商量了以后，又从东京点出二百员官吏，分头催督。有的地方官员稍有迟延，宇文恺就指名道姓，参奏处死。地方郡县的官员真是求生不得，求死不能。起初只是点选精壮劳力做工，后来人数不够，只得将老老幼幼，妇人女子，都弄来搬泥运土，就是那些偏远的乡村也不能幸免。精壮的年轻人还能勉强熬得住，可怜那些老幼妇女，怎么能受得了这样的苦役！不几天就死了一些，再过几天又死了一些，一个多月的时间，死亡的尸体填街塞巷，到处哭声不绝。郡县官看了，也忍不住伤心落泪，却又无可奈何。只得叫百姓趁着装木料的车子，把尸体运到荒郊野外埋了。怎奈人员相继死亡，埋了一批，又是一批。可怜东至成皋，北至河阳，这一路上抬尸骸的与抬木石的，相伴而行。
炀帝自从去了显仁宫以后，驾着车天天在东京游幸。花如锦绣，酒若渑河，真个朝朝暮暮，饮酒作乐，说不尽君王的乐趣。原来隋朝的天下，多亏了文帝勤政节俭，全国各地兵精粮足；君臣又励精求治，所以外国的胡夷，不但畏惧而且打心眼了佩服，年年纳贡，岁岁来朝。这一年各个外国派来的的酋长，知道炀帝在东京受朝，就一个个都到洛阳来进贡。炀帝见各国来朝，心中大喜。想显摆一下天朝的富贵，暗中传旨：不论城里城外，凡是酒馆饭店，只要有外国人来饮食，都要好酒好菜招待，不许收钱。又命令把大街上的树木，都用绸缎结成五彩。端午门大街一带地方，都要娇歌艳舞，盛陈百戏，让外国人见识见识天朝的繁荣富贵。百官领旨，真就在端午门大街上，搭起了无数的锦篷，排列了许多的绣帐。命令那些乐户，或是蛮歌，或是队舞。有一处装社火，有一处踩高橇；有几个舞柘板，有几个演百戏。滚绣球的团团而转，耍长竿的高入青云。软索横空，弄丸夹道，各式各样的技艺，都在五凤楼前卖弄。虽然不是圣世风光，倒也热闹好看。御街上的游人拥挤不堪。
外国人看了以后，都惊讶地说道：“中华如此富丽，真天朝也！”三五成群，前去游赏。也有到酒肆中饮酒的，也有到饭店中吃饭的，拿出来都是美酒佳肴。吃完了要付钱的时候，店主都说道：“我们中国十分富裕，这些酒食，都是不要钱的。”外国人都欢喜地说道：“原来中国的风俗，这么有趣！”便来来去去，酒饮了又饮，饭吃了又吃。这几个醉了，那几个又来；那几个饱了，这几个又到。就如走马灯一般，没完没了。炀帝在端门楼上，听见外国人都羡慕中国，满心欢喜，说道：“这些外国人都高兴了。”外国人都随意游玩，落得受用。两天以后，炀帝暗中派人问外国人：“你们外国也有中华这样富盛么？”几个狡猾的外国人出来答道：“俺们外国虽然没有这样富盛，却都吃得饱穿得暖，不像中国，还有没衣穿没饭吃的穷人。”又用手指着树上的彩缎说道：“这东西，施舍给那些穷人穿穿也好，拴在树上有什么用？”说完，这些外国人哈哈大笑，面露嘲笑之色。炀帝知道了以后，勃然大怒，说道：“外国焉敢讥笑天朝？”便要杀这些外国人。众官慌忙劝道：“外国跋山涉水而来，如果因为一句话就把他杀了，显得陛下没有容人之量。”炀帝生了半天气才答应不杀。然后传旨，赐宴以后，把这些外国人全部打发走。
没过多久，炀帝又觉得显仁宫没意思，命令驾车回西京。回到宫中以后，萧后接住说道：“陛下在显仁宫玩得很开心吧，也想过妾在深宫中是否寂寞吗？”炀帝说道：“朕很想和御妻一同快乐，只恨路太远了，往来不方便。”萧后说道：“这么说，妾再也不能到东京了吗？”显得闷闷不乐。炀帝说道：“御妻不要生气，东京显仁宫，不过是几间宫殿，没有什么好玩的，朕已经厌烦了。明天我派人在显仁宫旁边选一块宽大的地方，另造一所园林，朕和御妻索性迁到东京，天天在那里游赏，好不好？”萧后一听，转忧为喜，说道：“如果是这样，臣妾谢谢陛下了。”于是萧后就命人摆酒宴给炀帝接风。
第二天，炀帝坐在偏殿中，把虞世基宣来，对他说道：“显仁宫虽然华丽，不过是高房大殿，接待四方各国还可以，如果说到游览，毕竟还是有山有水，有亭有榭才妙。朕嫌西京太简朴了，想迁都东京。必须另外造一所园林，以备游玩。里面要有山有湖，可以泛舟而嘲风弄月，可以畅游而饮酒赋诗。朕闲暇的时候，和你们在里面游玩，不是很快乐的事吗？你现在就可以去选择地方，专门负责这个事情。”
虞世基领旨以后就动身了，到东京第一件事就是选择地方。虞世基四处勘察，只有城西一带宽广空阔，可以建造。于是就命人丈量了大小，看好的地形，回奏炀帝：“臣在显仁宫西面选了一块地方，地势丰厚，完全可以起造园林。如果将那里的民房拆去，周围足有二三百里宽阔。”炀帝说道：“这么宽阔，怎么建造啊？”虞世基说道：“以臣愚见，南半边可分东西南北中，挖它五个湖，每湖要方圆十里，四周都种上奇花异草。湖旁开几条长堤，堤上百步一亭，五十步一榭，两边都要桃花夹岸，杨柳分行，再造些龙舟凤舸，以备宴游。向北这半边地势宽广，可以挖掘一个圆形的北海，周围要四十里，开掘渠道与五湖相通。海中间可以建造三座山：一座蓬莱，一座方丈，一座瀛洲，就像东海里的三座神山一样。山上多造楼台殿阁，四围掩映；山顶要高出百丈，东京的箕山、颍水，便可一览无余。又可以回眺西京，又可以远望江南。湖海交界的中间地带，建造正殿。海北一带，可委委曲曲凿一道长渠，引接外边的河水，随湾就湾，一定要萦回婉转，和北海相通。长渠的两旁风景美丽的地方，可以建造十六座宫院，让宫娥采女住在里面，以备游幸。这就是臣的意见，请圣上裁定。”炀帝听完以后，哈哈大笑，说道：“爱情太有才了，设计得井井有条，朕很满意。你赶快去吧，火速建造，朕随后就迁到东京，以观落成。”虞世基说道：“请陛下给园林赐名，以便号召天下。”炀帝说道：“地方就在显仁宫西边，就叫做西苑吧。其余的五湖十六院等建好了，朕再起名。你一定要尽心尽力，越华丽越好，千万不能要简陋了。”虞世基领旨，立即会同各个衙门先将那地方的民房拆毁。也不论是田是地，也不管种桑种麻，全部都让人毁了。可怜这二百里内的居民，就如遭水淹遭火烧一般，好好的一个家当全部没了，只得抱男携女，哭哭啼啼，到各处去逃生。
虞世基就像秦始皇筑长城一样，先叫人在四周打起围墙；又像夏禹治水一样，叫人挖掘了五个湖，一个北海，一条长渠。又像五力士开山，又像女娲炼石补天。海中又叫人一层层，堆起了三座大山，园林当中又造起一座大殿，渠旁又造了十六所宫院，四下里又造了千百间的楼阁亭台，湖海中又做了无数的龙舟凤舸。苑墙上都以琉璃作瓦，胭脂泥壁。五湖和北海的岸边，都以青石砌成；长渠的沟底，都用五色石铺成。清泉流过，水波荡漾，就像五彩的玉带。三座神山，都用长峰怪石叠得嶙嶙峋峋，就像天生的三座石山，一点也不像是人力筑成的。亭台楼榭用的都是奇材异料，金装玉裹，浑如锦绣裁成，珠玑造就。每一座建筑无论大小，都是当时天下最好的。虞世基又传敕令：各郡县地方，凡有花木禽鱼，都要运到东京进贡。没用多长时间，普天下的奇花异草，走兽飞禽，都从各个地方献入东京。就是西京有好的东西，也都运来了。把一个西苑填塞的桃成蹊、李列径，梅绕屋、柳垂堤，仙鹤成行、锦鸡作对，金猿共啸、青鹿交游。就像自然生成的一般，只苦了四方的百姓，拖累的骨血淋漓。这一场土木之工，也不知耗费多少钱粮，也不知坑害多少性命，才得以完成。虞世基造完了，便上表请炀帝亲自来看。原来炀帝是个急性子人，此时已同萧后带着后宫妃妾，迁到东京，专等西苑竣工。这一天正在显仁宫与萧后看花饮酒，忽然看见虞世基来请，炀帝满心欢喜，便撇下萧后，乘一辆快车到西苑来看。来到苑中，只见五湖荡漾，北海汪洋，三神山佳气嶙峋，十六院风光淡爽。每一处都造得精美富丽，不像是人间，就像九洲仙岛，极乐琼宫。后人有诗单道这五湖之妙：
五湖湖水碧浮烟，不是花围便柳牵。
常恐君王过湖去，玉箫金管满龙船。
又有诗单道这北海之妙：
北海涵虚混太空，跳波逐浪遍鱼龙。
三山日暮祥云合，疑有仙人咫尺逢。
又有诗单道这山之妙：
三山万叠海中浮，云雾纵横十二楼。
莫讶移来人世里，若无仙骨亦难游。
又有诗单道这长渠之妙：
逶迤碧水绕长渠，院院临渠花压居。
不是宫人争斗丽，要留天子夜回车。
又有诗单道这楼台亭榭之妙：
十步楼台五步亭，柳遮花映锦围屏。
传宣半夜烧银烛，远近高低灿若星。
炀帝一一看了，满心欢喜，说道：“此苑造得大称朕心，爱卿功劳不小。”虞世基奏道：“这是因为陛下福德宽广，天地鬼神显灵，小臣何功之有？”炀帝问道：“五湖十六院，可曾有名？”虞世基说道：“专等陛下裁定。”炀帝就驾着车到各处仔细观看，每一处都定了名字。你知道是什么名字吗？
东湖，因四周种的都是碧柳，又与两山的翠微与波光相映，遂命为翠光湖。
南湖，因有高楼夹岸，倒射日光入湖，遂名为迎阳湖。
西湖，因有芙蓉临水，金菊满山，又有白鹭晴鸥时时来往，遂名为金光湖。
北湖，因有许多白石若怪兽，高高下下，横在水中，微风一动，清沁人心，遂名为洁水湖。
中湖，因四周宽旷，月光照人，宛若水天相接，遂名为广明湖。
第一院，因南轩高敞，时时有薰风流入，遂名为景明院。
第二院，因有朱栏曲屈，回压琐窗；朝日升起，百花妩媚，遂名为迎晖院。
第三院，因有梧桐数株，流阴满院；秋风吹来，叶叶有声，遂名为秋声院。
第四院，因将西京的杨梅移入，开花若朝霞，遂名为晨光院。
第五院，因有酸枣、玉李几株，开花虽白，丽胜霞彩，遂名为明霞院。
第六院，因有长松数株，俱团团如盖，罩定满院，遂名为翠华院。
第七院，因隔水突起一片石壁，壁上的苔痕纵横，就如天成的一幅画图，遂名为文安院。
第八院，因桃杏列作锦屏，花茵铺为绣褥，流水鸣琴，新莺奏管，遂名为积珍院。
第九院，因长渠中碎石砌底，簇起许多细细的波纹；日光一映，都射入帘栊之内，连枕簟上都有五色之痕，遂名为影纹院。
第十院，因四周都是疏竹环绕，中间却突出一座丹阁，就像凤鸣一般，遂名为仪凤院。
第十一院，因左边是山，右边是水，取乐山乐水之意，遂名为仁智院。
第十二院，因乱石叠断出路，唯有乘小舟方能出入，中间桃花流水，别是一天，遂名为清修院。
第十三院，因种了许多树，尽以黄金布地，就像寺院一般，遂名为宝林院。
第十四院，因有桃蹊桂阁，春可以纳和风，秋可以玩明月，遂名为和明院。
第十五院，因晚花细柳，凝阴如绮，遂名为绮阴院。
第十六院，因有梅花绕屋，楼台向暖，凭栏赏雪，了不知寒，遂名为降阳院。
长渠一道，透迤如龙，楼台亭榭就像鳞甲一般，遂名为龙鳞渠。