太尉在中国秦汉时中央掌军事的最高官员，但终秦一朝未任命太尉，秦朝以“丞相”、“太尉”、“御史大夫”并为“三公”，后宋代逐渐成为虚衔或加官，并无实际作用。

太尉之名最早见于《吕氏春秋》，汉武帝建元二年后不再设置。

西汉早期，设太尉官多半和军事无关，故带有虚位性质，不同于丞相、御史大夫等官职。

汉武帝时以贵戚为太尉，一变过去由立武功之臣充任太尉的惯例，而又和丞相同等，这也和西汉早期有所差别。

光武帝建武二十七年，将大司马改为太尉。

东汉时期，以太尉、司徒、司空为三公，太尉管军事，司徒管民政，司空管监察，分别开府，置僚佐，后曹操撤销三公制，自任丞相，魏文帝时期曾短暂恢复，后又撤销。

自隋撤销府与僚佐，便渐次演化成优宠宰相、亲王、使相的加官、赠官，元不常置。