Род графов фон Келлеров происходит от полковника австрийской службы Фридриха-Генриха Келлера, умершего в 1732 г.

Грамотой прусского короля Фридриха-Вильгельма II от 29 октября / 9 ноября 1789 г. прусский посланник в Нидерландах Дорофей-Людвиг-Христофор фон Келлер возведен, с нисходящим потомством, в графское достоинство Прусского королевства.

Высочайше утвержденным 14 ноября 1844 г. мнением Государственного совета отставной полковник Феодор-Людвиг-Вильгельм Келлер и дети его Эдуард, Альфред, Артур, Оскар, Виктор, Аделаида, Леонида, Алиса и Евгения признаны в графском достоинстве.