Род баронов Рутерфурдов происходит из Англии и восходит к середине XVIII столетия.

Именным высочайшим указом от 6 февраля 1777 г. российский агент в Ливорно и Тоскане Роберт Рутерфурд возведен, с нисходящим его потомством, в баронское Российской империи достоинство.