原来这忍者的由来要追述到“安史之乱”。天宝十五年（公元756年），安禄山攻陷长安，唐肃宗辗转避难于灵武、凤翔。适逢密教非空大师回到长安，秘密派人向肃宗奉表问安，并朝夕诵经。肃宗于是精选忠心敢死之士一百人，乔装进入长安，从大师学习秘密之术。此百人术成之后，本领非凡，由皇帝亲自指挥，成为皇帝的秘密武器，名为“忍者”。借助“忍者”之力，肃宗最终平息了叛乱，收复长安。为了保密，皇帝与忍者的所有联络，均为秘密接触，并下密诏曰：“交谈无六耳，史官不在侧。”之后，肃宗命这些忍者分布于八方各州府，随时待命，为皇帝执行极为秘密的任务。
会昌二年（公元842年），唐武宗毁灭佛教。“忍者”由于师出佛教，难免瓜葛，为了避祸，遂纷纷逃往人迹罕至之地，多为深谷荒岛，远离国都城市，隐姓埋名，并多以所习之秘术为姓氏，代代相传。这些忍者聚居之地便逐渐成为“忍者村邑”，名称古怪，与世隔绝，地图上也难以找到。
公元859年，唐懿宗即位，时世动荡。懿宗决定重新启用“忍者”，于是用先帝传下的“忍者令”招来了各部忍者。为了便于管理号令这些忍者，懿宗选出最为出色的四位忍者，封为“国忍”，分居东西南北四大忍者道，各统领一十八个忍者邑，称为长老。每一个忍者邑也由一名邑长统领。
前面田令孜所讲之事，正是身为四大国忍之一的北道长老光波勇所为。懿宗接到光波勇密奏，准光波勇之请，敕封龟兹为“大回鹘龟兹国”。后从入长安朝觐的怀建可汗口中，得知口袋谷一战的详情。然而此战之后，光波勇竟突然消失。懿宗命光波勇的副手，目炎邑长暂代长老之职，查明真相。半年之后，目炎密报说光波勇乃是被东、南二道忍者所害，东、南二道图谋造反，但由于忌惮光波勇厉害，且忠心耿耿，故而除之。不料数月后西、南二道忍者密报懿宗，称光波勇疑为目炎所害，目炎图谋长老之位，居心叵测。一年后，南道忍者又密报目炎结交邪魔外道，迫害忠良之士。一时四道忍者俱有嫌疑，懿宗难以决断，虽曾派人查明真相，但一来忍者之事极为保密；二来这些忍者行踪诡秘，本领骇人，实在极难调查，故几次察访均无功而返。鉴于各道忍者一向有功于朝廷，目前并无谋逆之举，况且懿宗身边又无胜任调查之人，故而悬案一置十数年不决。懿宗也暂不启用各道忍者，直至临终才将忍者秘密和盘托出，嘱咐田令孜，等僖宗长大后再告知他此事。
近年王仙芝、黄巢作乱，朝廷被逼气短，僖宗也已渐长大，是故田令孜才将忍者的秘密原原本本讲给僖宗，希望僖宗接手，继续查明真相，并借之平定叛乱。他与僖宗秘密商量了半年之久，才最终选定了李义南和孙位二人。李义南武功盖世，处事稳当，又对皇上忠心耿耿，是调查此事的不二人选。而之所以选中孙位，则另有打算。
田令孜当下便将忍者的来历说给二人，却略去了武宗灭佛，忍者避难一节。又说明了派给二人的任务。二人至此才明白，这顿酒可不是白喝的。只是孙位老大不解，自己不过是个画家，既不懂武功，又非朝官，为何要自己同去？自觉其中难免蹊跷，却不便询问。李义南也同样纳闷。
末后僖宗说道：“如今年关将至，两位爱卿可过了上元节再走，此行恐怕时日不短。朕素闻孙先生的夫人也精于丹青，还写得一笔好字，李将军的夫人贤良淑德，善弹古琴，朕想让她们过了上元节后，搬来大明宫与长公主同住，一起作伴解闷，岂不大好？”
二人知道僖宗年幼，并无城府，这定是老宦官田令孜的主意，要将他二人的夫人挟做人质，以免二人生出异心，或将此事泄露，却也无法推辞，只得叩首谢恩。
僖宗很是高兴，随即从怀中拿出一块金牌，交给李义南，只见金牌长三寸，宽二寸，正面有一篆书“唐”字，背面是一圆圈，圈内是个王体的行书“忍”字。
“忍者令？”李义南看着僖宗问道。
僖宗点头说道：“不错，这便是先祖肃宗皇帝传下来的皇帝忍者令，所有忍者见令如面君，但有所命，无不遵从。另外还有四面长老忍者令，是当年我父皇赐予四道长老的，各道忍者但遵本道长老之命，见令如见长老，但有所命，亦无不遵从。父皇本意想来是为了让四道忍者互相制衡，以免串通谋反。”
僖宗说者或许无心，李义南听者却是心头一凛：“皇上是怕我和孙位难以查明真相，却串通骗他么？”当即跪下道：“臣累受圣恩，虽万死难报，此去定当查明真相，宁肝脑涂地，不辱使命！”
僖宗连忙扶起李义南，道：“爱卿言重了，朕自然知道你对朕最为忠心，否则也不会让爱卿前往。朕不要你肝脑涂地，却要你好好回到朕的身边。”
李义南心头一热，心想：“皇上如此待我，我定当誓死以报君恩。”当下谢恩起身。
孙位此时开口问道：“皇上说另外还有四面忍者令，不知是何形貌？”
僖宗说道：“四方忍者道以长老所居村邑命名，东道名‘胜神’，长老令为墨玉牌，正面刻有‘川’字，长老令牌背面皆如金牌无异。南道名‘瞻部’，长老令为黄玉牌，正面刻有‘地’字。西道名‘牛货’，长老令为白玉牌，正面刻有‘风’字。北道名‘俱卢’，长老令为红玉牌，正面刻有‘光’字。”
孙位心想：“怎么这些忍者取的名字都似佛经中来的？是了，必是因为忍者最初师从佛教的非空大师，是以取这样的名字，一来表示不忘本，二来外人也难以知晓。”
僖宗又道：“忍者一事虽是我父皇遗嘱，朕却始终不大相信他们真有什么异能。两位此行请代朕好生查访。”二人齐声应承。李义南心道：“我也不信。”
僖宗接着给二人说了联络忍者之法，田令孜又嘱咐了一番，二人一一承诺。
转眼过了正月十五，二人将夫人送进大明宫，辞君结伴而去。