汉承秦制,皇帝仍是最高军事统帅,他通过其直接操纵的两大中央军事领导机构,控制全军。两大机构是:由郎中令、卫尉、中尉等组成的中央警卫部队领导机构;由太尉、将军、将、尉等组成的全军最高军事行政领导机构。中央警卫部队领导机构大致可分为宫廷警卫与京城警卫。宫廷内警卫,称为南军,主要由郎中令负责,因其职责是“主诸郎之在殿中侍卫,故曰郎中令”,属官有议郎、中郎、侍郎、郎中。汉武帝时改名为“光禄勋”。
南军由卫尉统领,负责守卫宫殿。卫尉属官有如公车司马令、卫士令等。警卫京城的称北军,主要由中尉负责。武帝时更名执金吾,职责是“掌徼循京师”即担任宫殿之外、京城之内的日常警备,在皇帝出行时还要充任护卫及仪仗队。
中尉的属官有如中垒、寺互、武库、都船等军职。北军系京师精锐,无事自屯其所,有警应诏救急,因驻于未央宫以北,与宫中南军位置相对,故名。北军初由千余人组成,武帝初年扩大北军,下设:中垒(掌北军垒门)、屯骑(掌骑士)、步兵(掌上林苑门屯兵)、越骑(掌越骑)、长水(掌长水宣曲胡骑)、胡骑(掌池阳湖骑)、射声(掌待诏射声士)、虎贲(掌轻车)等八校尉。
为不使北军权重,皇帝还象对待其它重要部队那样,派有监军御史与护军共掌北军。为了有效地控制全军,皇帝在中央设置了以太尉为首的,包括将军、将、尉等职的军事领导机构。太尉“掌武事”,是名义上的最高军事长官,但实际只负军事行政责任,并无发兵、领兵之权。调兵权完全操于皇帝之手,如无皇帝的符节,虽官为太尉亦不得领兵、发兵。太尉既无实权,其官属也较少,有时甚至并入丞相府,就其本职来说也是或置或废,一般是有军事则置,事毕即废。目的都是为了利用或限制太尉职权,以维护君权。至武帝以后改太尉为大司马,更是徒有虚名,权柄攥在大将军手中。
将军称号先秦已有,约在汉代才定为官名,且有大将军与列将军之分。将军“掌兵及四夷”,在平时,皇帝的近卫武官称将军,近卫武官之长则是大将军。因其近卫皇帝左右,多为亲信,故能得委任领录尚书事,居宫中参决政事,自武帝时期起成为中朝官的重要角色。后来逐渐取代太尉而执掌军权,甚至超越了丞相的权限。所谓“秦置丞相,总领万机,汉武之末,越以大将军统政。”然而,为确保皇帝的军事控制权,西汉大将军之位高亦时置时罢,其实际地位的高下也因人而异,但基本上可与三公地位相当。
与大将军地位相仿的还有骠骑将军、车骑将军,稍次有卫将军,如遇有边事还备齐有前后左右四将军。除以上最高级武官外,还有众多列将军,如上将军、游击将军、贰师将军等等,大多是临时设置,或以征伐的地名、对象,或以其所领兵种,或以其所负的特别职务而定其名号,出则领兵,入则另有任用。比将军地位略低的军官是将,或称别将。再往下则属中级武官,有校尉、都尉。颜师古曰:“校者,营垒之称,故谓军之一部为一校。”应劭曰:“自上安下曰尉,武官悉以为称。”一般说校尉在都尉之上。他们战时带兵出征,平时与大将军同居朝中,为皇帝直接控制。