Род графов Толстых происходит от Ипдриса, выехавшего «из Прус» в Чернигов в 1353 г.

Высочайшим указом от 7 мая 1724 г. действительный тайный советник Петр Андреевич Толстой возведен, с нисходящим его потомством, в графское Российской империи достоинство.

Именным высочайшим указом от 22 мая 1727 г. Петр Андреевич Толстой и сыновья его лишены чинов и графского титула.

Именным высочайшим указом от 30 мая 1760 г. восстановлены права на графское Российской империи достоинство внуков графа П.А. Толстого, коллежского советника Василия, Андрея, статского советника Бориса, Федора и Петра Ивановичей и гвардии ротмистра Александра и Ивана Петровичей Толстых.

Именным высочайшим указом от 16 апреля 1866 г. министр почт и телеграфов, член Государственного совета, обер-гофмейстер Иван Матвеевич Толстой возведен, с нисходящим потомством, в графское Российской империи достоинство.

Именным высочайшим указом от 12 февраля 1871 г. дозволено вице-президенту Академии художеств, тайному советнику графу Федору Петровичу Толстому усыновить внука своего (рожденного от дочери Ольги, по мужу Дмитриевой), малолетнего сына статского советника Александра Александровича Дмитриева, которому дозволено принять фамилию и титул деда и именоваться, потомственно, графом Толстым.

Определением Правительствующего сената от 20 марта 1878 г. тайному советнику графу Дмитрию Николаевичу Толстому дозволено присоединить к своей фамилии название заповедного имения его, села Знаменского, и именоваться впредь, с нисходящим потомством, графом Толстым-Знаменским.