Род графов Зотовых происходит от Якова Зотова, служившего в Угличе при царевиче Дмитрии Иоанновиче, в конце XVI столетия.

Рескриптом от 8 июля 1710 г. тайный советник, ближней канцелярии генерал-президент Никита Моисеевич Зотов возведен, с нисходящим его потомством, в графское Российского царства достоинство.

Именным высочайшим указом от 21 июня 1802 г. и 12 июля 1804 г. гвардии прапорщику Николаю и коллежскому асессору Александру Ивановичам Зотовым дозволено именоваться графами Российской империи.