Род графов Сумароковых происходит от Левиса, выехавшего из Швеции в Россию в конце XIV столетия.
Именным высочайшим указом от 26 августа 1856 г. генерал-адъютант, генерал от артиллерии Сергей Павлович Сумароков возведен в графское Российской империи достоинство.
Именным высочайшим указом от 8 сентября 1856 г. флигель-адъютанту, полковнику Феликсу Николаевичу Эльстону повелено присоединить к фамилии своей фамилию и титул тестя его, генерал-адъютанта графа С.П. Сумарокова, и именоваться впредь графом Сумароковым-Эльстоном.