()六月廿一rì，一个以锦衣卫为蓝本，融合了绣衣直指、梅花内卫、粘杆处等所长的特务机构便诞生了。名曰：绣衣侍卫。
张瑞在奏章中写道，‘绣衣侍卫，专掌缉捕、刑狱和侍卫之事，直属皇帝指挥。下设大汉将军，经历司和南、北镇抚司等。
大汉将军：主管皇帝侍卫、展列仪仗、传递皇帝命令以及职掌廷杖(最早始于东汉明帝)等事项，并与一般禁卫军区别开来。
经历司和南、北镇抚司，具体如下：
经历司：主管锦衣卫公务文书的出入、誊写及档案封存等事项。
南镇抚司：主管一般卫、所部队人员之犯罪侦查、审讯、判决、情报以及军事武器之研发事项（等同后世之宪兵队、军事法院、军事检查署以及军备局之结合体）。
北镇抚司：主管王公亲贵及官员秘密监视、肃反肃贪，dúlì侦讯、逮捕、判决、关押权力（诏狱）以及反间谍事项。（等同后世之国家安全局、调查局、香港廉政公署之结合体）。
官员有指挥使一人，正二品，指挥同知二人，正三品，佥事二人，正四品，镇抚二人，正五品，十四所千户十四人，从五品，下属有将军、力士、校尉、有法庭和监狱。
指挥使一职，必须由文官担任。指挥使、指挥同知由皇帝钦命，千户以上官员由指挥使提名，皇帝任命，其余官员由指挥使直接任免。绣衣侍卫所有官员的任免，只在吏部备案，但其不得干预。’
赵构仔细看了张瑞的奏章后，道：“爱卿，为朕所虑周详，乃朕之左膀右臂。这‘绣衣侍卫’之名起的好，官职设置也颇为新奇，不受吏部干预也好，少了掣肘。只是这指挥使乃当朝二品大员，职权甚重(六部尚书为从二品)，不知爱卿以为何人担任为妥？”
张瑞答道：“官家乃我大宋中兴之主，有所革新亦是理所当然。再者说来，此乃官家直属指挥的机构，关系到官家和皇室的体面，只有高于‘六部’，方能显示其尊贵。臣以为，这指挥使一职非官家亲信不可担任。臣，当仁不让。”
赵构听他此言，大笑道：“爱卿，这是自己挖坑，让朕给培树啊。”
张瑞也微笑着道：“雷霆雨露，具是君恩。‘绣衣侍卫’不过是官家鹰犬，至于职权，官家说大就大，说小就小，一切全屏官家做主。”
赵构大喜道：“说得好，此事就这么定了，爱卿万莫让朕失望才是。”
张瑞道：“臣，定会让‘绣衣侍卫’成为官家的耳目。还请官家不吝笔墨，赐一匾额。”
赵构已被他忽悠的云里雾里了，当即亲书‘绣衣侍卫’四个大字。
赵构亲赐匾额，张瑞奉旨筹建‘绣衣侍卫’的消息公布后。举朝哗然，说的好好的，只是筹建个什么搞情报的机构，现在却有这么大的权利，还又是缉捕，又是刑狱的，那还要刑部做什么去。
于是，张瑞还未等到正式任命下来，皇帝亲书的匾都没来得及挂上。大臣们反对的奏疏，就堆满了赵构的书桌。尤以尚书右仆shè同平章事杜充、刑部和大理寺官员反对的最是激烈。
赵构把这些奏章具是留中不发。众臣见奏章都石沉大海，骨气马上就来了，你留中不发，那我们就接着上。于是一波连着一波此起彼伏。
杜充这次上书，言辞更为激烈，“说张瑞连个进士都不是，未立寸功，‘苗、刘兵变’只是让他捡了个便宜，有何德何能，年纪轻轻就位居三公，大臣都耻于为伍。还抱怨，自己立了这么多战功，也没见的皇帝有多重的赏赐，言语之中透漏着很多的不满。”
赵构看后大怒，‘说张瑞不是进士，我钦赐的进士出身，那你当成了什么？还说张瑞寸功未立，‘苗、刘兵变’只是让他捡了便宜。’
‘这不止是怪朕任用私人，这分明是没把朕放在眼里，自己在他心里，成了别人捡便宜的对象了，这是**果地向朕挑衅啊。’但气归气，迫于朝中的压力，又无能奈何。只得把张瑞叫进宫来商议。
张瑞进宫后，虽然也有满月复的牢sāo，但他却没有丝毫的抱怨。还一个劲的劝赵构莫为此生气，让赵构静观其变，自己会替他处理好的。
张瑞出了行宫，心里那个恨啊，‘刑部和大理寺的官员反对也就罢了，毕竟自己触犯了人家的利益。可你杜充跟着瞎嚷嚷什么啊，我没有惹你，你却来招惹我。这个‘卖国贼’（历史上杜充兵败建康，最后投降了金国，官至燕京行台右丞相），我早就看你不爽了，正愁着没人立威呢，你就横着脖子往我刀上蹭。尚书右仆shè同平章事，当朝右相，大小长短正合适，拿来立威最好不过了。’
张瑞之所以没在赵构面前抱怨一句，那是因为他心里明白，‘皇帝不会喜欢总爱抱怨的下属，能力再强也不行。不但不能为自己抱怨，而且还得让皇帝觉得，他凡事总是设身处地的为自己着想，这才是好下属。’
想想赵构为何这么喜欢他，除了能力之外，还有别的原因的，素质关键是素质。
六月廿五rì，建康城里从东京汴梁来了一群流民，他们带来了一个令人震惊的消息。‘尚书右仆shè同平章事杜充，在东京留守时，勾结金人，作为内应企图颠覆大宋江山，金军之所以突至扬州，就是因为他向金人出卖了大宋的军事消息。这次他打着勤王的旗号前来建康，也是另有所图，听说金军不久就要过长江了，还听说杜充有个很漂亮的小妾，就是金人给的。什么这消息听谁说的？当然是从那些东京来的士兵口中得知的，不信你去问去，绝对真实，。’
消息传的有鼻子有眼，让人深信不疑，不到一rì，便在建康城迅速传播开来，很快也传到了赵构和杜充的耳中。杜充马上上书，以请辞相要挟，这就犯了大忌，触了皇帝逆鳞了。赵构大怒，下旨，“正式任命张瑞为绣衣侍卫指挥使，命其迅速组建绣衣侍卫，要钱给钱，要人给人。并令张瑞严密追查谣言的来源。”
有了赵构的圣旨，事情就好办了，张瑞从禁军中挑选了十几个有能力的将领，分别提名为佥事、镇抚、千户。又选拔了大批士兵，充作力士和校尉。张瑞提名了张福为千户，同时，言明了他曾是自己府上的管家，现在已经赎身，说他颇具才干，并且特别强调了他忠心不二。皇帝一一照准，什么才干不才干的，现在他倒不怎么看重，但忠诚就太重要了。张瑞是把准了赵构的脉，知道他此刻最缺什么？当然是安全感了。只是暂未指派指挥同知的人选。
六月廿九rì，绣衣侍卫开府挂匾。
随即便是缇骑四处，查访传言的来源，不查不要紧，一查不得了。先是杜充新纳的小妾在府中毒而亡，又从军营里传来消息，杜充原来的亲兵相继被杀，明眼人一看，当即就明白了，这是杀人灭口啊。
赵构不是傻子，马上意识到了问题的严重xìng。传旨，“命张瑞将杜充下诏狱，即刻审讯。”虽说刑不上大夫，更何况是当朝宰相，但那是刑部等司法衙门的说法。绣衣侍卫又不是司法衙门，可不兴那一套。
十八般酷刑，一样一样的招呼他，不多久，一份十分符合张瑞心意的，关于杜充如何勾结金人，泄露军事情报，意图谋害皇帝的供状，就递到了赵构面前。
看着杜充的供状，赵构气得脸都青了，“朕待充自庶拜相，可谓厚矣，何故至是？”
他能不气嘛，‘杜充泄露军事机密’，让金军突至扬州，害得自己以后都不能生育，赵构剐了他的心都有了。怪不得杜充如此反对设立绣衣侍卫呢，这是有事，怕暴露啊。
在张瑞一番添油加醋之后，赵构下旨，“着绣衣侍卫，查抄杜府，杜充通敌叛国，立即处斩，其家人流放万安军（历史上，杜充投降金人，赵构将其子杜嵩、杜岩、杜崐、女婿韩汝流放广州），所有上书反对的大臣，都廷杖二十，由绣衣侍卫负责执行。”
大宋开国以来，一直宽待文臣，这次廷杖可是开了大宋立国之先河。
看着凄惨的场面，张瑞心里有了一丝怜悯，自己这次是不是过了。
除了朝中jiān佞，打了反对他的，大臣的板子。张瑞立威的效果立杠见影。
至此以后，张瑞也恶名远播了，谁都怕得罪这个恶神。民间传闻里，他再也不是那个善作词，会写戏剧，温文尔雅的大才子了，而是一个十足的大煞神，吓唬小孩的必备佳品。
不久之后，赵构下令返回临安，张瑞把家人留在建康，托付给了李纲，并留下张福等一干绣衣侍卫的jīng兵强将，让他们随机应变。
九月，临安天气凉爽，正是游玩的好时节。但绣衣侍卫的一个消息，让赵构差点从龙椅上跌落下来，临安城内更是人心惶惶。