Род графов Ростовцевых (устар. Ростовцовых) происходит от Алексея Ростовцова, жившего в середине XVIII столетия.
Именным высочайшим указом от 23 апреля 1861 г. вдова генерал-адъютанта Якова Ивановича, Вера Федоровна Ростовцева, возведена, с нисходящим потомством, в графское Российской империи достоинство.