Род графов Ферморов происходит от одного из рыцарей, сопровождавших Вильгельма Завоевателя в 1066 г. в Англию.

Грамотой римского императора Франца I от 1/12 июня 1758 г. генерал-аншеф Виллим Виллимович Фермор возведен, с нисходящим его потомством, в графское Римской империи достоинство.

На принятие означенного достоинства и пользование им в России последовало 14 сентября 1758 г. высочайшее соизволение.

Высочайше утвержденным 15 февраля 1825 г. мнением Государственного совета полковнику графу Магнусу-Иоганну Стенбоку дозволено присоединить к своей фамилии и гербу герб и фамилию дяди его по матери, графа Виллима Фермора, и именоваться впредь, потомственно, графом Стенбок-Фермором.