渡江南返之後，豐臣仕旭命令所有軍隊開始修整，並命令將高麗所有的軍械糧食集中在義州，當然，其中包括高麗百姓的糧食，至于百姓沒有糧食之後會怎麼樣，豐臣仕旭無法去顧及了。
豐臣仕旭還命令搜刮高麗的財物，並將其押送回扶桑，同時也從扶桑運回糧食和軍械，特別是弓箭，要守住鴨綠江，最需要的就是弓弩。
而扶桑國內，百姓們都沉浸在偉大的勝利之中，上至天皇，下至庶民，皆感激天神大神的賜福，祈禱扶桑軍在攝政豐臣仕旭的率領下，取得更大的勝利，被押送回來的無數的財寶將扶桑所有臣民的激情推到了最高。
耶律璟在行軍路上在潰逃的遼軍口中，得知耶律頹昱三萬大軍全軍覆沒在鴨綠江的消息，氣得破口大罵耶律頹昱蠢貨，丟棄騎兵的優勢和扶桑軍在江中肉搏，還中了埋伏，這不是蠢貨又是什麼，氣憤之下，砍了這潰逃的數百遼軍士兵。
自此，耶律頹昱三萬大軍真正的全軍覆沒了。
耶律璟隨即命令，令一萬騎兵、二萬步兵為前鋒，攻打來遠府。
遼帝親征，遼軍迅速有效地執行了耶律璟的命令，如今在遼國，沒有人敢違抗耶律璟的命令，因為耶律璟的殘暴如同他的睡覺功夫一樣出名。
說來也怪，這耶律璟已經二十二歲，卻不喜歡，所以沒有子嗣。
他愛好喝酒、打獵，還有睡覺，經常酗酒，天亮才睡，中午方醒，因此長時期不理朝政，國人稱之為「睡王」。如僅僅如此，也就罷了。問題是耶律璟還有一個愛好，那就是殺人，別人是因為利益或者因為憤怒而殺人，但耶律璟卻是僅僅因為喜歡殺人而殺人。
遼國臣民敢怒不敢言。當然就更不敢違抗耶律璟的命令。
此次率遼軍前鋒攻打來遠城遼軍大將是群牧都林牙耶律敵獵，林牙，是遼國官名，是樞密院的派出機構，稱為行樞密院，其中的主官稱之為林牙。
耶律敵獵雖然年紀不大，卻十分狡猾，向來與耶律阮、耶律婁國兄弟交好，耶律阮被殺後，雖然歸附耶律璟。但暗中與耶律婁國聯絡，約定尋找機會，恃機謀反。
此次遠離上京隨耶律璟南下，耶律敵獵一直想尋找機會，但根本無法接近耶律璟。
而耶律璟現在令他為前鋒攻打來遠城。這更讓他感覺耶律璟是想故意削弱他的實力。
但耶律敵獵不敢公然抗命，耶律璟的殘暴令他只能迅速地發動攻擊。
就這樣，遼和扶桑的第二次戰斗在來遠城下開始了。
耶律敵獵首先命一萬騎兵在來遠北城牆外來回奔馳，發動騎射。
游牧民族的騎射是冷兵器時代最具有攻擊性的戰法之一。
快速移動加上發射箭矢，在進攻的同時，兼具了防御的特性，令守軍很難命中。
一次齊射。就是上萬枝箭矢，在射程之內，如果沒有遮擋物，確實沒難幸存下來。
但騎射也有不足之處，那就是攻打象來遠這樣有著高聳城牆的堅固之城，實在力有不逮。
而扶桑守軍得到豐臣仕旭的指點。除了遼軍步兵攀牆攻擊，任何時候，都不露頭。
扶桑人對于命令的執行力自古以來都是相當嚴謹的，縱然有不少士兵被游矢射中，造成傷亡。卻始終不露頭迎戰。
數輪騎射之後，耶律敵獵按慣例命令步兵攻城。
等步兵進入城下二十丈以內時，扶桑守軍迅速冒頭。
于是，如蝗般的箭矢、數人合抱的擂木，偌大的巨石還有滾燙的油和污穢的糞便，從天而降，
讓進攻的遼軍死傷無數，耶律敵獵見勢不妙，趕緊命令步兵後撤。
遼軍步兵丟下了數百尸體趕緊後撤。
于是，又一輪騎射開始了，接著又是步兵進攻。
如此輪回了七次，來遠城穩如泰山，而遼軍步兵的傷亡已經接近三千人。
耶律敵獵心痛萬分，于是命令全軍扎下營來，等待耶律璟來援。
次日，耶律璟率著八萬大軍與耶律敵獵會合，聞听耶律敵獵作戰無功，耶律璟隨即解除了耶律敵獵的指揮權，將他的麾下兵馬暫時歸入了自己的指揮下。
很可惜，耶律璟指揮下的攻城，依舊重復著昨天的故事。
唯一不同的是，騎射的人數驟然增加，一面城牆已經容納不下如此眾多的騎兵騎射，而變成四面城牆同時攻擊。
但來遠城中不缺少士兵，豐臣仕旭留在來遠城的士兵有五萬人。
又是一天攻城無果，這令耶律璟感覺很丟臉，也讓耶律敵獵暗中偷笑。
這天晚上，耶律璟與麾下將領商議之後，決定四面圍住來遠城，讓城中糧盡之後，逼降。
于是，一場圍困戰開始了，讓耶律璟沒有想到的是，來遠城早已讓豐臣仕旭放足了糧食和箭矢，沒有兩三月的圍困，哪能這麼容易就糧盡。
而耶律璟自己的大軍，人數比來遠城守軍多出一倍，還有五萬戰馬，這些的補給遠大于來遠守軍，人人都知道，攻防戰僵持中，守軍的士氣下降肯定比攻方的士氣下降得慢，因為，在城破之前，守城的永遠比攻城的佔便宜，死得往往都是攻城的。
僅僅十天，就已經讓耶律璟等不下去了，此時遠離上京，補給線太長，而鴨綠江以北皆是遼國疆土，對于自己的國土，耶律璟總不能象南下中原那樣命士兵「打草谷」，夜夜駐宿城外，令耶律璟睡不好覺，這對于一個綽號睡王的人來說，天下最痛苦的事莫過于此。
而來遠城中，那些守軍卻一個個吃飽喝足，躲在垛牆後對自己虎視眈眈。
耶律璟忍無可忍，于是，命令全軍重演一次五萬大軍的數輪騎射，然後六萬步兵全軍攻城。
這個命令非常荒唐，對城中守軍的兵力未知，並且守軍在沒有士氣損傷的情況下，命令步兵全軍攻城，而且是在沒有攻城器械的情況下，這無疑是拿士兵的性命開玩笑。