Александр Александрович родился в хорошей московской семье. Отец его был замечательным пианистом, дирижером и педагогом, бабушка с отцовской стороны приходилась родною теткой Сергею Рахманинову, дед с материнской стороны был тот самый Третьяков, что основал в Москве Третьяковскую галерею.

Доктор Иван Манухин рассказывает в своих воспоминаниях, что отец художника, пианист и дирижер А. И. Зилоти был при Временном правительстве назначен директором Мариинского театра, и после Октябрьского переворота, когда театр забастовал, большевистский комиссар Луначарский упрятал А. И. Зилоти в тюрьму «Кресты», откуда его и выручал Манухин, давший комиссару обещание, что он будет держать пианиста у себя, под домашним арестом. Вот как описывает И. Манухин сцену освобождения А. И. Зилоти из «Крестов»: «А. И. Зилоти я застал в маленькой тесной камере с грязными обшарпанными стенами и тусклым от грязи оконцем. Трудно было вообразить большего несоответствия своеобразно-изящного облика А. И., его тонкой музыкальной души с окружающей его обстановкой! Со свойственной ему непринужденной веселостью встретил он весть о свободе и, прежде чем я успел опомниться, со смехом повлек меня куда-то в конец галереи… в уборную. «Полюбуйтесь, нет, Вы полюбуйтесь на эту архитектуру! Это же черт знает что!.. – восклицал он. Следующий свой концерт я дам в пользу переустройства этого «учреждения» в “Крестах”»… А затем, когда мы вернулись в камеру, указал на надпись на грязной стене. Там значилось: «Здесь сидел вор Яшка Куликов». «А вот я сейчас и продолжу», сказал А. И. и четко выписал карандашом: “и ученик Листа Александр Зилоти”» (увы, вскоре после этого питерская интеллигенция начала не улучшать, а забивать до предела тюрьмы, так что и самый город, по словам Ахматовой, болтался «привеском» к своим тюрьмам).

Сын пианиста юный Саша Зилоти выучился на художника, участвовал в выставках «Мира искусства», изучал старинную живописную технику, а после революции занимал ответственные посты в «Эрмитаже», писал статьи об искусстве. Поселившись в 1925 году в Париже, он для заработка водил туристов по музеям и писал пейзажи Версаля, имевшие успех у публики. За границей он участвовал в групповых выставках русских художников, а однажды даже устроил свою собственную, индивидуальную – в одной из бесчисленных парижских галерей («Галерей-то в Париже много, – сказал мне однажды растерянно эмигрантский художник Толя Путилин, – да двери у них узкие…»).