裴矩拿著勸西域開市的表文，第二天早上來到朝堂——煬帝剛剛上朝，百官朝賀完畢，煬帝就問道︰「前天鎮守西域的將領送來文書，文書上說外國人要與中國開市，你們這兩天討論的如何了？」話剛落音，只見班中閃出一人，帶著高高的烏紗帽，跪在地上奏道︰「臣有表奏。」煬帝定楮一看，原來是吏部侍郎裴矩。就叫近侍把他的奏折遞上來，放在龍案上展開，仔細地看了起來。只見上面寫著︰
吏部侍郎臣裴矩，誠惶誠恐，稽首頓首，奉表于皇帝陛下︰臣听說治理國家以生財為本，抵御外國以樹德為先。天下貨物互通有無，從古至今乃是人之常情。所以古代帝王對付外國，如果叛逆就討之以威，如果歸順則懷之以德。現在西域各國，懼怕中國的威嚴，年年納款，歲歲來朝，心中早就臣服了。現在又想與中國進行貿易的原因，是因為仰慕我中華的文明而做出的表示友好的行動，如果拒之門外，雖然我國之威足以震懾對方，而德行卻不能感化他們。況且在西域開市有五大好處︰以中國羅緞帑帛，換海外珠玉異寶。其利一也。貿易一開，則彼此得利，彼此得利，就會關系融洽；關系融洽，邊疆就沒有戰爭之憂，其利二也。西域各鄰國臣服以後，更遠的國家就會接踵而來，不用戰爭就能使遠方的人歸順，其利三也。關系融洽以後，慢慢派人查清外國的山川地理，繪成地圖，就可以成就秦皇、漢武那樣的功勞，其利四也。如今天下富強，前所未有，如果再把西域各國連為一家，就能超過三皇、勝過五帝，而讓後人敬仰，其利五也。希望陛下英明果斷，主持在西域開市，那麼不但一年所得的利潤不下百萬，而且確保邊疆安穩如泰山；如果猶豫不決，坐失良機，就會阻絕人情，不但邊境不會太平，而且還會有想不到的災難。望聖上批準為盼！
煬帝看完以後，非常高興，說道︰「愛卿陳列的五大好處，大有識見，可以看出愛卿為了國家深謀遠慮，只是擔心外國別有用心，欺詐我們。」裴矩說道︰「我國國富民強，兵精糧足，即使他們有詐，也不必太擔心。只要有一個既能隨機應變，又老成穩重的人負責這個事情就行了。」煬帝說道︰「此事責任重大，非卿莫屬。」說完，當即擬了一道聖旨，讓宣旨官宣讀︰「任命裴矩以原官職住扎在張掖等地，負責西域開市。安近懷遠，一定要宣揚德化。授予裴矩臨機應變的的權利，不能挑起事端。立功以後另行升賞。」
裴矩剛剛謝恩領旨，班中又閃出一人，此人長得方面長髯，高顴大耳，威風凜凜，相貌堂堂，跪在地上奏道︰「西域開市，有三大害處。裴矩乃是一介書生，不了解情況，反而說有五大好處，妄言誤國，請聖上處分他。」煬帝一看，乃是兵部尚書段文振。就問道︰「西域開市有哪三大害處？裴矩如何誤國？」段文振奏道︰「西域開市，各外國的東西不過是珠玉犀象，冷了不能當衣穿，餓了不能當飯吃，卻以中國的綾綿帛和他交易，這是拿有用之物換無用之物，這是其一；張掖乃是邊防重地，開市就會引狼入室，外國狼子野心，居心叵測，如果發生什麼變故，為禍不小，這是貪圖小利而招來大禍，這是其二。既然開市通好，那麼我們是主人外國是客人，來往必須迎送，住處必須供給。外國人就會絡繹不絕，來到我國，各地的老百姓就會疲于奔命，忙于應付，不得安生。這是慕虛名而受實禍，這是其三。西域開市有這三大害處，而裴矩卻貪圖富貴，妄言惑主，難道不是誤國嗎？」裴矩說道︰「段文振該殺！以錢幣棉帛換無價之寶，利潤可達百倍，他卻認為沒有用，如果說珠玉沒有用，那麼金錢也不可以穿，也不可以吃，也是沒有用的東西嗎？我們有強大的武力做後盾，外國雖然居心叵測，還能翻天不成？況且古代的帝王，都以誠心待人，胡越一家，從來沒听說過因為擔心而拒絕他們的。況且遠方的客人到來，供給的費用有限，談不上讓老百姓疲于奔命。相反，如果因為這事激起兵變，必然要派大軍出征，每天都要消耗大量的物資，那才是讓老百姓疲于奔命。依段文振所言，是不想讓朝廷得利，是想讓陛下做柔懦之主，不願意讓陛下做仁聖英略的帝王。」煬帝听了裴矩的話，說道︰「明明是利，反說有害。段文振打得什麼主意！」段文振說道︰「陛下安享先帝創下的太平盛世，沒有帶過兵，不知道邊防的利害。如果听從裴矩的花言巧語，一定會有社稷之憂。」煬帝大怒，用手拍著龍案說道︰「段文振欺朕沒有帶過兵，朕偏要開市，看看到底有沒有社稷之憂！口出狂言，誹謗君父，本來應當重重治罪，念你是先朝老臣，不予追究。如果再敢胡言亂語，定斬不饒！」段文振想再說幾句，煬帝卻氣沖沖地回宮去了。段文振嘆一口氣，說道︰「皇上不听老臣之言，要不了十年江山就會瓦解。」然後悶悶不樂地走出了朝堂。
裴矩領了旨意，滿心歡喜，回到家里以後，先準備了一份厚禮，送給楊素，恐怕他出來攔阻，又準備了一份禮物感謝王忠。然後立即收拾行禮，拿著聖旨到西域去了。
裴矩來到張掖，各鎮守邊關的將領接住參見。裴矩傳旨說道︰「皇上見了你們要求開市的文書，非常贊成，命令本官住扎在張掖，專門負責這個事。與外國做交易，一定要以賤換貴，以少換多，千萬不能因此事對國家不利。」眾將都拱手說道︰「一定遵從旨意。」然後裴矩一面貼出告示，招集商人，采買緞帛，一面在城門上插起一面黃旗，上面寫著︰「奉旨開市」。又吩咐各鎮守將，發文書通知所有的人；又建造許多旅館驛站，好讓來做買賣的外國人居住；又命令外國人經過的各郡縣地方，凡是有外國人，都要提供食宿，不許怠慢。號令一發出去，沒過多久，西域各個國家都知道了，都帶著海外的寶物，到張掖來交易。真個利源一開，熙熙攘攘而來。中國的錦繡，堆積如山；海外的寶物，斗量車載。彼此互換，換了又來，來了又去。外國人來來往往，絡繹不絕。裴矩與各鎮守將，從中漁利，都發了大財。可憐那些經過的郡縣，送往迎來，一時一刻都不得安寧。搞得百姓疲敝，倉廩空虛，一年的花費不下百萬。各郡縣支撐不住，都寫文書到裴矩的衙門來訴苦。裴矩卻拿聖旨來嚇唬人，哪里管這些人的死活。正是︰
在廷誰最惡？獨有利臣凶。
只為一身計，教他萬姓空。
裴矩經常派人把名馬犀象，及各樣奇珍異寶送到京城進貢，又經常擺酒宴款待那些外國人，仔細打听各國的山川形勢風俗，都畫成圖樣，共計四十四國，合成三卷，總名叫做《西域圖記》，獻與煬帝。煬帝看了，滿心歡喜，對蕭後說道︰「原來外國的山川風景，也如此秀美，如果不是在西域開市，怎麼能夠知道呢！段文振那個家伙拼命阻攔，朕幾乎被他誤了。他又笑朕安享太平基業，不知邊疆時事。朕想親臨薊北，訪問各國。一來可以觀賞觀賞西域各國的山川美景，二來可以考察考察塞外的風土人情，三來讓天下人都知道知朕是英雄之主，四來又可以收回楊素的兵權。不知御妻以為何如？」蕭後說道︰「這個想法很好！從古至今，天子都有巡狩的習慣。後來那些昏庸的皇帝只知道在宮中享樂，把這個習慣廢了。陛下如果願意恢復古人的習慣，確實是個盛大的典禮，有什麼不可以的呢！」煬帝大喜，于是就決定要巡狩薊北。第二天早朝，煬帝在金鑾殿上面對文武百官，說道︰「朕听說古代的聖帝明王，都巡狩天下，親自查訪民間疾苦。後來南方的這些皇帝只知道錦衣玉食，美女脂粉，坐在深宮中受用，從來不願意和百姓相見，這和婦人女子有什麼不同嗎？朕實在看不起他們。現在朕想趁著天下太平，兵精糧足，親臨邊境，訪問各國，舉行三皇五帝的聖事，請各衙門一面聚集兵馬，一面裝載輜重，朕要擇吉起程。」百官一齊奏道︰「現在天下太平，邊疆無事，陛下何必親自到那些偏遠荒蠻之地巡狩呢？雖然古有先例，不免勞民傷財。望陛下三思！」煬帝很不高興，說道︰「作為臣子應當想著讓天子成為堯舜那樣的皇帝，才是有德的忠臣。你們不讓朕去，只是愛惜小財，卻讓朕學那些不知世務的皇帝，是何道理！再敢強諫，定加重罪！」