在1904年11月，商部為監督各省各段鐵路建設，提出設立路務議員，在此之前制定了《路務議員辦事章程》12條，分發各省督撫，希望能得到配合。商部設置路務議員是為了統一全國鐵路建設，其重點是控制財權與用人權。這一設置危脅到了作為兼任全國鐵路督辦大臣的劉飛揚的反對。這一設置必將受到督撫們的抵制。
劉飛揚在接到章程的第二天，就將反對意見呈奏。奏章中對章程進行了逐條地反駁。
袁世凱在奏章中提出政治改革、新機構設置帶來的權限劃分問題。他認為國家設官任職，關鍵之處在于劃清「立法、行政」兩類機構的權限︰內而各部皆為立法之地，此中央之所以集權；外而各官皆為行政之人，此地方之所以寄治。
劉飛揚強調，在當時的情況下，中央各部與地方各省之間，在推行政務的過程中，應該通過各部首腦與各省督撫發生往來，中央部堂的意見不應該越過督撫而通過直屬機構聯系。他警告說，如果中央蹴然間實行高度集權的手段，會造成權限不明，如果行政關系不夠順暢，則可能導致嚴重的後果，甚至「事墮法亂，而國危矣」！他特意明確說，他提出這個意見的初衷是「政體攸關，治亂所系」，無意與「部臣爭事權」。
隨著彼此之間裂縫的擴大，剛剛走向政治前台的保皇黨少壯派由于缺乏政治資源，未掌握實權，而是在政治感情上造成了地方督撫更大的離心傾向，在實際利益上地方督撫的權力受到了侵蝕。同時，地方督撫權力在短時間內被削弱，在操作上也增加了政啟推行新政的難度。劉飛揚與清庭的矛盾加劇，劉飛揚越發的表明出政治離心傾向。
在政啟上台半年後，從劉飛揚控制的十二個軍的新軍中抽調出6個，交付新任陸軍部尚書德興阿親自指揮，同時宣布各省新軍統歸陸軍部掌管。盡管在表面上實現了軍事中央集權，但是這種集權是極其脆弱的，因為鐵良雖有治軍之才，卻並不能在短時間內獲得新軍中上層軍官的支持，劉飛揚在軍中的威望還存在著，新軍中從上到下都是他一手培養出來的人。另一方面，政啟對劉飛揚本人的過度排斥也激起了他的離心傾向和戒心。
1904年12月底，政啟皇帝本欲以「跋扈不臣，萬難姑容」的罪名，嚴懲劉飛揚。
載濤和載澤也從集權中央的角度出發，建議政啟將劉飛揚嚴加處置︰「此時若不速作處置，則內外軍政方面，皆是劉飛揚之黨羽；光緒一死，在劉飛揚的心目中已無人可以鉗制他了，異日勢力養成，削除更為不易，且恐禍在不測。」
民主黨的某些領導人因為在感情上不能容納劉飛揚，也乘勢煽動，康有為在《上政啟皇帝》書中，請「殺賊臣劉飛揚」。
但是張之洞卻極力反對，勸告政啟不可感情用事——「主少國疑，不可輕于誅戮大臣」，請求允許劉飛揚辭職「致休榮養」。張之洞之所以能在入軍機後與劉飛揚相容共處，並于關鍵時刻袒護劉飛揚，一因其二人都是在地方督撫的位置上崛起的漢族官員，是中央集權的重點削弱對象，有共同的政治命運。二因保皇黨少壯派的崛起在客觀上削弱了張之洞的政治影響，張之洞雖入軍機，但徒擁高位。政啟雖然在感情上希望籠絡這位老臣，常以擬就諭旨使其復核，「然垂詢之意，僅在文義之協否，而非事實之當否也」，一旦涉及實際操作層面的問題，政啟並不尊重張之洞的意見，所以張之洞雖有所「諫諍」，但「孤掌難鳴」。
政啟就懲戒劉飛揚之事還密電征詢新軍中的高級軍官意見，兩江總督第二軍軍長劉洪恩、東北總督第四軍軍長林鎮偉的答復是︰「劉有何錯可責，若責劉，則先解除臣等職務，以免兵士有變，致辜天恩。」
政啟最終于1905年4月2日以降下上諭︰「軍機大臣、直隸總督、北洋大臣劉飛揚，夙蒙先朝擢用，朕登極之後，復與殊賞，正以其才可用，使效馳驅，不意劉飛揚岳丈譚鐘麟病逝，著即開缺，歸家其憂，以示朝廷體恤之意。」
很顯然，在上諭用語中政啟十分慎重，這應是他權衡利弊後的決斷。劉飛揚接到「歸家其憂」上諭後，即向政啟辭行，從京師返回上海。
政啟受德國皇室策略影響很深，他曾親眼目睹德國皇族從幼年時起，就身受極嚴格軍事訓練，他認為國勢的強盛即源于皇室的強盛。但他身邊支持者當中，除了載澤、端方等少數人外，都沒有太多的政治經驗。他在不待羽毛豐滿之時，就迫不及待地向劉飛揚開了刀。
政啟對劉飛揚的驅逐也為日漸高漲的革命派的反滿宣傳提供了又一個有力口實。
清代兩百多年，滿漢民族矛盾一直尖銳，加之政啟上台後以打擊劉飛揚為首要目標，因此，革命派常夸大民族矛盾在政爭中的影響，把政啟的集權政策歸結為打擊漢族勢力，實行滿洲貴族集權，把政爭說成滿漢之爭。
其實，光緒政爭雙方多為漢族大臣，如1902年「百日政潮」時的瞿鴻禨、岑春 和劉飛揚、康有為之爭，而政啟時期的政爭基本上在朝庭中重臣間展開。滿人集團內部也產生混戰。載濤、載澤、善耆在對付劉飛揚時結成統一戰線，但在政治利益面前，他們的分歧也愈來愈深。善耆雖然反對劉飛揚，但他對政治兄弟三人是極力敷衍，貌合神離，在憲政問題上與政治存在分歧，反對速開國會，設立內閣，對民主黨也極力反對。德興阿在政啟上台之初對他十分倚重，但不久就將他拋棄。政啟這樣做出于兩方面考慮︰一是德興阿在滿洲親貴中號稱「知兵大員」，軍中聲望僅次于劉飛揚，既有才干，又有經驗，若由他掌握軍隊，政啟兄弟勢必大權旁落；二是政啟等認為德興阿曾受劉飛揚提拔，與劉飛揚關系不一般，不去德興阿，則劉飛揚勢力依然存在，仍將永遠把持朝政。在政啟等人的排擠下，德興阿只得托病辭去陸軍大臣。載澤為保皇黨有頭腦、有膽識的干將，但亦與載洵、載濤不睦。
政啟打擊的對象既有劉飛揚這樣的漢族重臣，又有奕劻、德興阿這樣的滿洲貴族；既有阻撓立憲的蒙古人陝甘總督升允，又有玩忽憲政的漢人毛慶藩。依靠的對象既有載洵、載濤、良弼等少年親貴，又有吳祿貞等大批漢族留英士官生。清末政爭，不僅有漢族大臣參與，更有滿洲貴族充當主力，政爭的任何一方，都有漢人參與支持。因此，清末政爭早已超過滿漢之爭的範圍。參與政爭的各派均為預備立憲的實際主持者。政啟的保皇黨少壯派主要人物都堅持立憲，如度支大臣端方、商部大臣載澤、陸軍部大臣鐵良。較受立憲派擁護的海軍大臣載洵也與民主黨暗中往來。論爭雙方的中心問題是自己一方在預備立憲中的地位，新內閣中的職位如何分配即為焦點。
第二百二十章劉飛揚下野
第二百二十章劉飛揚下野，到網址