Название XVI века.

Переулок назван по церкви во имя чудотворной иконы Божией Матери Ржевской.

Эта чудотворная икона Божией Матери была обретена в 1539 году в Тверской губернии, в лесу около села Оковцы, недалеко от Ржева. На ней изображена Божия Матерь с Младенцем и слева от нее святой Николай Чудотворец. От этой иконы последовали многие исцеления. По приказу Ивана Грозного она была доставлена в Москву, с нее сняли копию, а подлинник возвратили на место явления, где был построен храм во имя этой иконы.

В Москве церкви во имя Ржевской Богоматери поставили у Прениетенских ворот и на Поварской. Переулок возле церкви на Поварской с XVI века известен как Ржевский, в конце XIX века он был разделен на два: на Малый Ржевский – между Поварской и Хлебным переулком и на Большой Ржевский – между Поварской и Большой Молчановкой.

Храм Ржевской Божией Матери на Поварской снесен, на его месте – новое здание Верховного суда. (Одноименный храм на Пречистенке снесен в 1929 году.)

В 1960 году Малый Ржевский переулок и Ножовый переулок были переименованы в улицу Палиашвили. З.П. Палиашвили (1871—1933) – грузинский композитор.