Род графов Эльмптов происходит от Гобеля д'Эльмета, владельца замка Эльмет в Гельдерне в 1233 г. Потомки его переселились в Эльзас и приняли фамилию Эльмпт фон Даммершедт.

Грамотой викария Римской империи, курфюрста пфальцского Карла-Теодора от 14/25 мая 1790 г. русской службы генерал-аншеф барон Иоганн-Мартин фон Эльмпт возведен, с нисходящим его потомством, в графское Римской империи достоинство.

На принятие означенного достоинства и пользование им в России последовало 25 декабря 1790 г. высочайшее соизволение.

Высочайше утвержденным 6 мая 1853 г. мнением Государственного совета генерал-адъютанту, генерал-лейтенанту Иосифу Романовичу Анрепу, с детьми его, дозволено присоединить к своему гербу и фамилии герб, фамилию и титул предков жены его, рожденной графини Эльмпт, и именоваться впредь, потомственно, графом Анреп-Эльмптом.