Род графов де Тулуз-Лотреков происходит от Раймунда V графа Тулузского (1148–1194 гг.).

Высочайшим указом от 23 июня 1859 г. повелено роду де Тулуз-Лотреков присвоить графский титул, если лица, к нему принадлежащие, докажут свое происхождение от маркиза и графа де Тулуз-Лотрека, выехавшего из Франции в Россию с графом д'Артуа.

Высочайше утвержденным 8 июня 1861 г. мнением Государственного совета утверждены в графском достоинстве ротмистр Александр и полковник Валериан Александровичи де Тулуз-Лотреки с сыновьями первого из них Георгием, Александром-Петром и Валерианом.