1884年日本在旧式军队的基础上首次组建了6个正规陆军师团，即第一至第六师团。甲午战争以后，日本又组建了6个正规师团，即第七至第十二师团。1907年，日本在日俄战争后，再次扩充6个正规师团，即第十三至第十八师团。1915年，日本又在被其侵占了朝鲜组建了两个陆军师团，即第十九第二十师团。这样，加上守卫日本东京皇宫地区的日军近卫师团及4个驻扎在各地的独立混成旅团，就构成了日本帝国主义陆军平时的基本框架。1937年之前，日军的总兵力不过21个师团，合计50万人。
日军其陆军常备主力师团（师）有甲、乙、丙三种。1―20师团是甲种师团（1937年前组建），21―49师团是乙种师团（38年―41年组建），50―109师团为丙种师团（41年后组建）
甲种师团：
下辖有两个步兵旅团（旅），每个步兵旅团（约7700人）下辖两个步兵联队（团），每个步兵联队（约3870人）下辖三个步兵大队（营），每个步兵大队（约1215人）下辖四个步兵中队（相当于连，二战期间每个步兵大队增加一个重机枪中队），每个步兵中队（约250人）下辖三个小队（排），每个小队约70人。另外，师团还直辖骑兵联队（约1400人）、炮兵联队（约2500人）、工兵联队（约1500人）、辎重兵联队（约2800人）及通信队（约650人）、卫生兵（约500人），野战医院（约150人）等。一般齐装满员的日军常备主力陆军师团兵力往往可达2.4万人，拥有战马7630匹、步骑枪14900支、山炮16门、野炮36门等武器装备（二战时期增加了掷弹筒144个、轻机枪288挺、重机枪54挺），是具有多兵种配合的有强大战斗力的作战单位，故这种师团又被称为甲种师团。
乙种师团：没有旅团级建制，由师团直辖三个步兵联队，每个联队下辖三个步兵大队，同时指挥炮、工、骑、辎重兵联队等单位，全师团定员减至1.8万人，配备军马2065匹、步骑枪8940支、掷弹筒216个、轻机枪216挺、重机枪54挺、平射炮18门、山炮12门等武器装备。八年抗战中，日军组建的第二十一师团至四十九师团
丙种师团：恢复了旅团建制，但取消了旅团下面的联队，即每个师团下辖两个旅团，每个旅团直辖四个步兵大队，全师团共八个步兵大队，加上师团直属的炮兵大队、工兵大队、辎重兵大队、通讯大队等单位，全师团定员1.3万人，配备军马2550匹、步骑枪6500支、掷弹筒192个、轻机枪192挺、重机枪48挺、平射炮16门、迫击炮32门、野炮12门等武器装备。二战中，日军第五十师团至第一0九师团均属这种编制的部队。