安祿山很看不起楊國忠，經常在李林甫耳邊表達對楊國忠的不屑「十郎，楊釗這小癟三不是個做大事的料，我非常看不起他，我每天早上起床都問候他先人幾百遍。」
李林甫笑了笑說道「祿兒，長矛有長矛的用處，爛樹枝有爛樹枝的用處。楊國忠這個人雖然是小混混出身，但是他還是個聰明人，拎得清方向。他自恃有楊貴妃的撐腰，朝堂之上他什麼話都敢說，嘴巴比宋祖德都賤，簡直就是楊大炮，我們整李亨他可是出了不少力啊。雖然現在太子沒有什麼大礙，但是他必然對楊國忠忌憚，這對我們來說反而是好事情。只是我感覺這老小子有點野心，不服管，總是先斬後奏不把我放在眼里，我要敲打敲打他讓他長點記性。」
在李林甫的精心策劃下，楊國忠不斷被李林甫整治，一段時期內要不是憑借楊貴妃說好話，他真是求生不得，求死不能。楊國忠對李林甫恨之入骨「這老東西，簡直就是個瘋狗啊，逮誰咬誰，你媽了個b的。」
李林甫年紀越來越大，身體愈發脆弱了。他每天都擔心楊國忠會在他死了之後，挖他歷史問題翻他舊賬清算他，于是決定弄死這個小混混再去見閻王。
于是他上書給唐玄宗，大致意思說「南詔國聯合吐蕃，對四川形成威脅，楊國忠是四川人，又有鮮于仲通這樣的好基友作為支援，派他去鎮守四川絕對是不二人選。」
楊國忠看到這個奏章嚇得半死，跪在唐玄宗面前哭得跟孫子一樣「皇上，你不能讓我去四川啊，我去四川肯定死翹翹了，李林甫這個老狐狸打著為國家考慮的旗號來整我啊。我一旦離開京城，要不路上被他派去的刺客弄死；要不就是被南詔軍隊殺死；要不李林甫隨便安個罪狀給我以丞相的名義治我的死罪，皇上你不能眼睜睜地看著我往火坑里跳啊。」
唐玄宗趕緊將他扶了起來，笑著說道「楊愛卿你不要害怕啊，李林甫現在還是宰相，他呈上的奏折合情合理，我沒有什麼理由駁倒他。這樣吧，我派大內高手護送你去四川，你到了四川之後2個月後我再把你調回京師，這樣一舉兩得，到時候，李丞相也不會說什麼。」
原來，楊國忠和李林甫在對待王的問題上也有矛盾，王本是李林甫和楊國忠共同嫉妒的對象，但是為了牽制楊國忠，李林甫則極力提拔王，當楊國忠陷害王時，李林甫又竭力為其開月兌罪責。由于楊國忠在背後做了手腳，唐玄宗便開始疏遠李林甫，王也以莫須有的罪名被致于死地，王所兼職務全部歸楊國忠。這唐玄宗雖然年紀大了，可不糊涂。唐玄宗深知他們矛盾很深，他偏心楊國忠一方面是為了取悅于楊貴妃，另一方面是借以牽制李林甫的專權，同時為取代已經衰老了的李林甫做人才儲備。
皇上把話說道這個份上了，楊國忠只能咬牙答應下來。他覺得兩個月應該不會出什麼ど蛾子，何況唐玄宗答應他派長安皇家衛隊保護他，他更加放心了。
經過一番精心準備，楊國忠的隊伍就開始往四川方向出發了，出發那天，楊玉環在長安車站送行「楊兄保重啊，祝你一路順風。」
楊國忠揮一揮手，沒有帶走一片雲彩。
出了長安城，楊國忠回了回頭，憤憤地說道「我一定還會回來的。」他的心里滿是對李林甫的仇恨，這老狐狸沒有幾天好活了，心還是那麼歹毒。
再說李林甫府上，安祿山正在和李林甫商量著什麼。
「十郎，楊國忠這孬孫上當了，他現在已經出發去四川了，我派我的特種部隊在路上弄死他，這樣省的你心神不寧，你看如何？」
「祿兒，現在不急，你派特種部隊一路尾隨，快到四川的時候，假扮成南詔國的殺手將這個孬種的豬頭都給切了。我到時就跟皇上稟報說楊國忠得罪當地土人，被報復殺死，那大家都相安無事。」李林甫平靜的說著，臉上露出一股殺氣。
安祿山撫掌哈哈大笑，大肚子隨著笑聲一顫一顫的，很有節奏，仿佛在唱rap。這安祿山是個雜胡，朝廷之內最怕的人就是李林甫，最佩服的也就是李林甫。主要有兩點︰
第一，李林甫舉薦安祿山任邊關老大，他對安祿山顯然是有知遇之恩。當然李林甫不是活雷鋒，他這麼做當然是為了鞏固他自己的權位，也透露出他對蕃將的輕蔑，認為安祿山這種胡人不能舉大事。
第二，李林甫的政治手腕鎮住了安祿山。安祿山初見李林甫的時候，仗著有玄唐宗的恩寵，態度怠慢，拽得跟二五八萬一樣。李林甫瞧在眼中，卻不動聲色。當時大夫王也專權用事，和楊國忠齊名，李林甫故意把王叫來，讓安祿山站在一旁。當時王身兼二十余職，恩寵無比，見了李林甫也只能卑詞趨拜，滿臉媚笑。李林甫向王問對，十分精審，王對答，百倍地恭敬。安祿山在一旁不覺瞪大了眼楮，態度也恭敬起來。王說話越謹慎，安祿山的態度也就越恭敬。李林甫看見安祿山態度的轉變，這才胸有成竹地對安祿山說道︰「小朋友你來長安，深得皇上歡迎，這是好事，我恭喜你。你也要好自為之，好好報效祖國，做祖國棟梁之才，皇上雖然老了，但是我李林甫可不老，你的一舉一動我都看在眼里。」安祿山听了李林甫的話，嚇得半死。李林甫收買了唐玄宗身邊的侍從，所以能及時得到唐玄宗那里的小道消息，每次他和安祿山講話，都和玄宗對安祿山所講一字不差，安祿山心里暗暗驚服。李林甫問安祿山任何事情，安祿山絲毫不敢隱瞞，將李林甫奉若神明。
李林甫對安祿山恩威並施，慢慢地，二人關系親密起來。安祿山人在範陽時，每逢派人向朝廷奏事，便叮嚀來人問候李林甫。奏事之人從長安回來，所問的第一句話不是別的，而是問「十郎何如」。安祿山曾對親近之人說︰「我安祿山出生入死，天不怕地不怕，當今天子我也不怕，只是害怕李相公。」對李林甫的忌憚之心可見一斑。
安祿山經常入朝向玄宗表白自己的忠貞不二，向李林甫傾訴自己只願作宰相的驍將，絕對不會對他朝廷地位形成威脅，只會助他一臂之力。因此進一步使李林甫覺得放心。這樣，安祿山一路平步青雲，直至被賜鐵券、封王爵。
在安祿山的眼中，李林甫是唐帝國最牛逼——最牛逼的男人。