自康熙二十七年，山东巡抚张汧以赉银赴京行贿事发，经审讯，涉及高土奇。高士奇即上疏：“臣等编摩纂辑，惟在直庐。非进讲，或数月不觐天颜，从未干涉政事……独是供奉日久，嫌疑日滋。张汧无端疑怨，含沙污蔑……伏乞赐归田里。”康熙心中十分明白，对自己这位没有什么实权的近臣来说，无鸡焉能生蛋？无米岂可煮饭？贪赃枉法，卖官鬻爵这类事情真是无稽之谈嘛，不过是耸人听闻罢了，但高士奇的疏言辞恳言衷，因此康熙同意高士奇解任且谕令勿滋蔓。康熙二十八年春，康熙又南巡时，解甲的高士奇仍为随从。但九月，左都御史郭琇又严辞弹劾高士奇等人，说：“高士奇、王鸿绪、陈允龙、何楷、王顼龄等豺狼其性，蛇蝎其心，鬼蜮其形，畏势者既观望而不敢言，趋势者复拥戴而不肯言，臣若不言，有负圣恩……”在这样慷慨激昂之辞言下，高士奇等人不得不思考何去何从。实际上高士奇明白，郭琇之所以弹劾王，何，陈和自己等人，就是为了争权夺利，但在这个错纵复杂的环境下，再加上太子与大阿哥党的斗争日趋激烈，木秀于林，风必吹之啊，王充用三十年心血写成的《论衡》“累害第二”篇中指出的因嫉妒而生的毁谤，归纳为“三累”和“三害，”的，最终结论是“虽孔丘、墨翟不能自免，颜回、曾参不能全身。”的论著，难道不是给自己的一个警示吗？虽然皇上还未对自己论罪，但自己是不是要激流勇退了呢？
这日，即会议上书房，商定高士奇引退的事。康熙穿了件石青江稠面儿的褂子，海龙缎台冠放在案上，一条乌油油的发辫打着明黄结垂下来，伸手从奏折中抽出一张，打开是高士奇休致回籍的折子，然后看着相伴自己多年的高士奇。
“江村，”康熙言下不胜感慨，抚膝沉默良久，方道：“你非走不可么？自朕继位第八个年头你入太学开始，跟着朕风风雨雨二十多年，就这样弃朕而去了？你的那点子事，朕心里有数，何至于就无可挽留！言官那边，朕自然会替你说话的。”
高士奇伏在上书房冰冷的青砖地上重重叩了二个头，硬咽着回道：“万岁爷越是这样说，臣越是无地自容。臣老矣，该从此退归林下，讴歌圣朝，沐浴清化。让位于新进国士，于万岁爷。于臣，于国家社稷都有好处，寸心不敢有一毫欺隐。”
康熙看着高士奇，点头叹道：“此话也是实情。既如此，朕南巡时，看平湖风俗敦朴，地僻事简，无外物之扰，你可优游林野。朕赐一处宅子，你就入籍平湖，成平湖人吧。朕再南巡，君臣还能再见……”说着，豆大的泪珠已滚落下来。见他们如此凄情，旁边肃立的大臣们也不觉拭泪。
“万岁爷保重！”高士奇泣道，“臣在平湖朝夕尸视，愿吾皇万万年！”说着便欲起身。
“不要急嘛，”康熙收泪笑道，“朕还有话吩咐：要保重的是你，作息宴游要节劳，不要再管地方的事，看着他们哪里不对，写折子给朕。你得罪了他们，在哪儿也住不安宁。朕已经命佟国维也进上书房办事，还准备再物色儿个，这里的事也不须操心。你善自保养，活得长些，好些，给在朝的人做个榜样！”说罢又叫，“李德全！”
“扎！”李德全一闪身进来答道。
“带高士奇至文华殿赐宴！”康熙吩咐道，“朕还要写诗送行，完了你回来拿——哦，对了，叫御膳房抄几样食膳谱给高士奇带上，记住了？”
“扎！”李德全极精神地打了个千儿，回身搀起高士奇，一步一步去了。
看着一步步走出去的高士奇，康熙脑海中就浮现出他们君臣相处的点点滴滴：当巡访松亭、塞北、盛京、乌喇、浙江等地，总有高士奇相伴，犹记得高士奇还在松亭写过这样一首诗：塞北松亭载笔频，江南山左扈时巡，旨甘不缺慈帏奉，内顾无忧赖尔身。而当自己夜读三更时，高士奇会请曰：“圣躬过劳，宜少节奉。”自己答曰：“朕自五龄受书；诵读恒至夜今，乐此不为疲也!”……于是康熙拿起御案旁沾好墨的毛笔手书“竹窗”两字准备赐高士奇。康熙身边的首领内监李德全拿着康熙赐予高士奇的御书亲自把高士奇送至苑门外。
京郊，齐世这会儿正在准备给休致去平湖的高士奇送行。高士奇看着虽然和自己相处不久，但是难得惺惺相惜的齐世，想一想说道：“此时此地只你我二人，有些心里话想和你说一说。”
齐世诧异地看着高士奇，说道：“您说，我洗耳恭听。”
“齐世老弟恕某狂妄了！”高士奇幽然一笑，说道，“不知你看当今是何等样人主？”
“自然是明君！”齐世答道。
“岂止是明君！”高士奇笑道，“乃五百年一出之圣君！前头的文武功业不说，即学问一道，能诗词，会书画，辨八音之律，通七种夷语，算术几何登峰造极，自测黄白二道，精天文，明地理，撰数十篇学术文章，即医理一道恐也不次于御医们。我自认学有五车之富，无书不读，敢问：即主子不是皇帝，我也比得过他啊！望尘莫及，望尘莫及。”
齐世不禁连连点头。
“惟因万岁爷学问深博，所以有包容之量。”高士奇缓了口气说道，“纳兰明珠瞧不透这个，所以胆敢在万岁爷身边攫权谋私，谋私犯的是人情，万岁爷尚可容忍；攫权犯的是圣忌，那就非拿掉不可！你虽是纳兰明珠的女婿，幸没往他圈子里跳，若真的依附了纳兰明珠，恐怕上次处置纳兰明珠时你也会倒霉的！”他抬眼看了看齐世，“万岁爷赏识我敏捷诙谐，才华横溢，我这次幸也算趋小祸避大祸，我觉得你以后不妨谨守‘万言万当，不如一默’，要知木秀于林，风必吹之！”
齐世望着远去的马车，细细品嚼着“万言万当，不如一默”这句格言，许久没有说话。