Род графов Милютиных происходит от Дементия Дружинина Милютина, жившего в начале XVII столетия.
Именным высочайшим указом от 30 августа 1878 г. военный министр, генерал-адъютант, генерал от инфантерии Дмитрий Алексеевич Милютин возведен, с нисходящим его потомством, в графское Российской империи достоинство.