Род графов Баранцевых происходит из ржевских дворян и становится известным с 1614 г.
Именным высочайшим указом от 19 февраля 1881 г. товарищ генерал-фельдцейхмейстера, генерал-адъютант, генерал от артиллерии Александр Алексеевич Баранцев возведен, с нисходящим потомством, в графское Российской империи достоинство.