Род графов Толей происходит от Арнольда графа Голландского, убитого в 1005 г.
Именным высочайшим указом от 9 июля 1829 г. начальник штаба 2-й армии, генерал-адъютант, генерал от инфантерии барон Карл Федорович Толь возведен, с нисходящим потомством, в графское Российской империи достоинство.