原來這忍者的由來要追述到「安史之亂」。天寶十五年（公元756年），安祿山攻陷長安，唐肅宗輾轉避難于靈武、鳳翔。適逢密教非空大師回到長安，秘密派人向肅宗奉表問安，並朝夕誦經。肅宗于是精選忠心敢死之士一百人，喬裝進入長安，從大師學習秘密之術。此百人術成之後，本領非凡，由皇帝親自指揮，成為皇帝的秘密武器，名為「忍者」。借助「忍者」之力，肅宗最終平息了叛亂，收復長安。為了保密，皇帝與忍者的所有聯絡，均為秘密接觸，並下密詔曰︰「交談無六耳，史官不在側。」之後，肅宗命這些忍者分布于八方各州府，隨時待命，為皇帝執行極為秘密的任務。
會昌二年（公元842年），唐武宗毀滅佛教。「忍者」由于師出佛教，難免瓜葛，為了避禍，遂紛紛逃往人跡罕至之地，多為深谷荒島，遠離國都城市，隱姓埋名，並多以所習之秘術為姓氏，代代相傳。這些忍者聚居之地便逐漸成為「忍者村邑」，名稱古怪，與世隔絕，地圖上也難以找到。
公元859年，唐懿宗即位，時世動蕩。懿宗決定重新啟用「忍者」，于是用先帝傳下的「忍者令」招來了各部忍者。為了便于管理號令這些忍者，懿宗選出最為出色的四位忍者，封為「國忍」，分居東西南北四大忍者道，各統領一十八個忍者邑，稱為長老。每一個忍者邑也由一名邑長統領。
前面田令孜所講之事，正是身為四大國忍之一的北道長老光波勇所為。懿宗接到光波勇密奏，準光波勇之請，敕封龜茲為「大回鶻龜茲國」。後從入長安朝覲的懷建可汗口中，得知口袋谷一戰的詳情。然而此戰之後，光波勇竟突然消失。懿宗命光波勇的副手，目炎邑長暫代長老之職，查明真相。半年之後，目炎密報說光波勇乃是被東、南二道忍者所害，東、南二道圖謀造反，但由于忌憚光波勇厲害，且忠心耿耿，故而除之。不料數月後西、南二道忍者密報懿宗，稱光波勇疑為目炎所害，目炎圖謀長老之位，居心叵測。一年後，南道忍者又密報目炎結交邪魔外道，迫害忠良之士。一時四道忍者俱有嫌疑，懿宗難以決斷，雖曾派人查明真相，但一來忍者之事極為保密；二來這些忍者行蹤詭秘，本領駭人，實在極難調查，故幾次察訪均無功而返。鑒于各道忍者一向有功于朝廷，目前並無謀逆之舉，況且懿宗身邊又無勝任調查之人，故而懸案一置十數年不決。懿宗也暫不啟用各道忍者，直至臨終才將忍者秘密和盤托出，囑咐田令孜，等僖宗長大後再告知他此事。
近年王仙芝、黃巢作亂，朝廷被逼氣短，僖宗也已漸長大，是故田令孜才將忍者的秘密原原本本講給僖宗，希望僖宗接手，繼續查明真相，並借之平定叛亂。他與僖宗秘密商量了半年之久，才最終選定了李義南和孫位二人。李義南武功蓋世，處事穩當，又對皇上忠心耿耿，是調查此事的不二人選。而之所以選中孫位，則另有打算。
田令孜當下便將忍者的來歷說給二人，卻略去了武宗滅佛，忍者避難一節。又說明了派給二人的任務。二人至此才明白，這頓酒可不是白喝的。只是孫位老大不解，自己不過是個畫家，既不懂武功，又非朝官，為何要自己同去？自覺其中難免蹊蹺，卻不便詢問。李義南也同樣納悶。
末後僖宗說道︰「如今年關將至，兩位愛卿可過了上元節再走，此行恐怕時日不短。朕素聞孫先生的夫人也精于丹青，還寫得一筆好字，李將軍的夫人賢良淑德，善彈古琴，朕想讓她們過了上元節後，搬來大明宮與長公主同住，一起作伴解悶，豈不大好？」
二人知道僖宗年幼，並無城府，這定是老宦官田令孜的主意，要將他二人的夫人挾做人質，以免二人生出異心，或將此事泄露，卻也無法推辭，只得叩首謝恩。
僖宗很是高興，隨即從懷中拿出一塊金牌，交給李義南，只見金牌長三寸，寬二寸，正面有一篆書「唐」字，背面是一圓圈，圈內是個王體的行書「忍」字。
「忍者令？」李義南看著僖宗問道。
僖宗點頭說道︰「不錯，這便是先祖肅宗皇帝傳下來的皇帝忍者令，所有忍者見令如面君，但有所命，無不遵從。另外還有四面長老忍者令，是當年我父皇賜予四道長老的，各道忍者但遵本道長老之命，見令如見長老，但有所命，亦無不遵從。父皇本意想來是為了讓四道忍者互相制衡，以免串通謀反。」
僖宗說者或許無心，李義南听者卻是心頭一凜︰「皇上是怕我和孫位難以查明真相，卻串通騙他麼？」當即跪下道︰「臣累受聖恩，雖萬死難報，此去定當查明真相，寧肝腦涂地，不辱使命！」
僖宗連忙扶起李義南，道︰「愛卿言重了，朕自然知道你對朕最為忠心，否則也不會讓愛卿前往。朕不要你肝腦涂地，卻要你好好回到朕的身邊。」
李義南心頭一熱，心想︰「皇上如此待我，我定當誓死以報君恩。」當下謝恩起身。
孫位此時開口問道︰「皇上說另外還有四面忍者令，不知是何形貌？」
僖宗說道︰「四方忍者道以長老所居村邑命名，東道名‘勝神’，長老令為墨玉牌，正面刻有‘川’字，長老令牌背面皆如金牌無異。南道名‘瞻部’，長老令為黃玉牌，正面刻有‘地’字。西道名‘牛貨’，長老令為白玉牌，正面刻有‘風’字。北道名‘俱盧’，長老令為紅玉牌，正面刻有‘光’字。」
孫位心想︰「怎麼這些忍者取的名字都似佛經中來的？是了，必是因為忍者最初師從佛教的非空大師，是以取這樣的名字，一來表示不忘本，二來外人也難以知曉。」
僖宗又道︰「忍者一事雖是我父皇遺囑，朕卻始終不大相信他們真有什麼異能。兩位此行請代朕好生查訪。」二人齊聲應承。李義南心道︰「我也不信。」
僖宗接著給二人說了聯絡忍者之法，田令孜又囑咐了一番，二人一一承諾。
轉眼過了正月十五，二人將夫人送進大明宮，辭君結伴而去。