Род графов Олсуфьевых происходит от Михаила Ивановича Олсуфьева, бывшего думным дворянином и наместником серпейским[18] в 1571 г.

Именным высочайшим указом от 26 августа 1856 г. обер-егермейстер Василий Дмитриевич Олсуфьев возведен, с нисходящим потомством, в графское Российской империи достоинство.