Род баронов фон Ферзенов происходит от Любарта Ферзена, бывшего венденским фогтом в 1458 г.

Грамотой шведского короля Карла XI от 25 октября / 4 ноября 1674 г. генерал-лейтенант Отто-Вильгельм и его брат, капитан Герман фон Ферзен, а также грамотой от 19/29 ноября 1674 г. генерал от инфантерии Фабиан и его брат, генерал-лейтенант Ганс фон Ферзен, возведены, с нисходящим потомством, в баронское королевства Шведского достоинство.

Высочайше утвержденным 20 декабря 1865 г. мнением Государственного совета за дворянским родом фон Ферзенов признан баронский титул.