四月二十二，枉人山寨萬余人口牲畜，挽著近五千輛大車，同時還人背馬馱著十日口糧，在騎兵統領方洪的三百騎兵（回枉人山後，又擴招了兩百多騎兵，共計五百騎兵，雖然戰馬還有富余，可惜會騎術的人少）及楊折沖、釋智和的一千五百名步兵（步兵已有兩千之眾）護衛下，如期出發。
由于物資實在太多，五千輛大車根本裝不完，而健牛、騾子，挽馬又需要用來拉車，無法馱負重物。無奈之下，只好分兩批遷徙。第一批，重點是轉移人口、糧秣、絲帛、金銀珠寶、兵甲、藥石（各種草藥與礦物質）及鹽茶等生活必需品。
只留下一部分的米糧及皮革、大量箭矢、銅鐵精料及酒水等物，等待第一批遷徙人員到達目的地後，將車輛騰空，再倒回頭來裝車啟運剩余物資。這些物資由楊奮的兩百騎兵及左開的五百步兵據寨而守。這時的枉人山寨，已經沒有一個平民，有的只是七百名兵甲精良的騎步兵，還有堆積如山的物資，由一個普通的山寨變成了一個軍寨。
從大部隊的遷徙到留守主官的人事安排上，可以看出狄烈是花了一些心思的。
遷徙大部隊的軍事主官是楊折沖，方洪，釋智和副之，民事方面則是由侯方鏡負責。而留守部隊則是楊奮為主，左開為副。
在這當中，楊家兄弟及侯方鏡都是在狄烈起家前就一起經歷患難的人物，在忠心方面應該說是比較可靠的。其余如方洪、左開，釋智和這些人，雖然也表現不差，但畢竟相處日短，當然不可能讓他們在軍中佔主導地位。要知道，狄烈的這份家當，相當于宋朝的一路（相當于省級）全年賦稅。這塊肉太肥了，誘惑性太大了，狄烈在這方面不得不小心從事。
安排好諸事的狄烈，卻沒有隨遷徙隊伍而行，他有更重要的事。在早前一天，也就是四月二十一，狄烈帶領著阿術、張榮的梁山兄弟，以及關忠勇等十余名太行義軍，先期出發。
按狄烈的官方說法，是先去拜會一下劉大寨主，洽談合兵事宜。如果順利的話，等一切安頓好了，大部隊也到了。關忠勇等人深以為然，欣然陪同前往。但狄烈心里真實的意思，卻是不想讓關忠勇等人看到自己的全部家當，以免到時給人家來個獅子大開口，那就被動了。
狄烈一行本打算順著金軍北返的路線，走湯陰、相州、磁州、邯鄲，然後自邢州而至趙州，再繞欒城而過，折向西行，經抱犢寨而穿井陘，最後到天平寨。
由于有太行義軍這群識途老馬帶路，加上這條線路剛有大批金軍經過，一路上掃蕩得極為徹底，基本上百里之內，人煙絕滅，短期內幾乎無人敢走。因此在五日之後，狄烈一行很順利地來到了邯鄲。
在早前，準確的說是在七天以前，金軍四路北返大軍已經全部在邯鄲匯合。這個時候，大概金軍主帥完顏宗望也意識到了兵分數路的弊端。之前是因為千軍萬馬過黃河，擁堵不堪。為了讓大軍盡快北返，並且認為路上不會有什麼阻撓，所以才兵分六路。
而現在莫明其妙地潰滅了兩路大軍，損兵折將不算，更丟失了一大批物資及人口。宗望不得不改弦易轍，將剩下的四路大軍蝟集成團。如此一來，全軍人馬超過七萬，加上近二十萬的俘虜，龐大的人群及海量的物資運輸，必定造成行軍速度的緩慢。
不過，這時的宗望心里想的是安全第一。擺出這樣的大陣仗，如果那個如幽靈般的男子還敢來捋虎須。那麼，他不介意讓對方嘗嘗七萬鐵騎合圍的滋味。
四月二十三，金軍七萬人馬押解著二十萬俘虜及無數戰利品，開出邯鄲城。大軍浩浩蕩蕩，綿延百里，望北而去。
而當狄烈一行到達邯鄲城廓之時，金軍已經離開三天了。
狄烈與眾人商議了一下，決定暫時停頓休整幾日。否則照這樣的速度走下去，不消幾日就能趕上金軍——要知道這時的金軍已基本上變成了輜重兵，押著這麼多的人口牲畜及幾萬輛大車，一天能走上個三、四十里就很不錯了。
狄烈這個時候，可沒有偷營的心思。他現在的想法，與完顏宗望驚人的一致︰就是要將各自的戰果安全地送到目的地，此外一切都是次要的。
狄烈現在就是等著這次大搬家結束，然後再追上金軍，尾隨覷機，看看有沒有救人的機會。反正金軍行軍速度為輜重所累，很容易就能追上。只是此時的金軍的力量空前強大，不要說虎口奪食了，就算想再混入金營中救一兩個人出來，也是千難萬難。
但再難也得試一試，那兩個人太重要了。一個可以為自己控制住手頭的趙宋宗室及大批官吏；而另一個，則掌握著自己軍工的核心機密。
就在狄烈一行停駐在邯鄲城外一座荒廢的寺廟休整時，關忠勇與高亮相攜而至，提出派幾名弟兄先行一步，回山寨找到大寨主，先跟他通通氣，了解一下他的態度及決定，這樣更穩妥些。二人一再表示，劉大寨主是個豪爽實誠之人，這事十有八、九能成。
狄烈自然也沒有反對的理由，當下同意了。于是，由高亮率五名太行兄弟，帶足干糧，以及作為禮物的十錠黃金，先期北上。
如此又過了三日，在得到楊折沖派出的哨探傳來消息，遷徙隊伍已安全到達磁州。狄烈一行才放心繼續北上。
狄烈一行越往北行就越安心。由于金人滅宋過快，本國完全沒有做好接收宋國地盤的軍事及政治的準備工作；也就是說，地盤打下了，卻只有少量本**隊甚至沒有本國的軍隊，而只能依靠戰力低微的新附軍去駐守。而且金軍攻宋，采取的是蛙跳戰術，沿途州府，能取則取，不能取就繞過。這樣就造成很多州縣的官軍因懼怕金軍攻城屠戮，紛紛棄城，闔城的百姓也逃個精光。
狄烈等一路行來，所見除了少數幾個州府大城，如相州、磁州、邯鄲、邢州等，有少量金軍（其中多為僕從軍，女真人沒幾個）及部分降金的新附軍駐守之外，其余大批縣鎮，如衛縣、湯陰、滏陽、臨洺、沙河、內丘、臨城等，基本上就是空城。
這樣的情形下，大大有利于狄烈的萬人搬家大行動，至少在安全與保密方面是沒有大問題的了。當然，狄烈心下也清楚，這種情況不會持續太久。一俟金軍北撤完畢，這些個空置的縣鎮，就會由無人問津變成搶手的香餑餑。宋軍要搶，義軍要搶，盜匪要搶，往後那偽齊更要搶。屆時這幾個州府就會變成一個大戰場兼爛泥沼，誰陷進去都難拔腳出來。
那時就算是一支小小的商隊經過，估計都要被盤剝得血本無歸，搞不好人財兩空，被沿途各種勢力吞得連骨渣子都不剩。
不過，這起碼是一個月以後的事了，那時狄烈的搬遷計劃早就完成了，這地方鬧得再凶也影響不到他。不得不說，狄烈還真是選擇了一個最好的時機。
五月初二，當狄烈一行走到臨城東北的柏鄉縣城時，竟與風塵僕僕往回趕的高亮一行不期而遇。
高亮一見關忠勇，就從馬上滾鞍而下，止不住放聲大哭，抽抽咽咽地報告了一個惡噩︰
大寨主，死了！