Отца Евгении Яковлевны звали Яков Герасимович (Морозов). Как и отец его Герасим Никитич, он торговал мануфактурой в гор. Моршанске, Тамбовской губ. Дела у него шли плохо, он разорился и «по рекомендации некоего барона Фитингофа поступил комиссионером по суконной части к ген. Папкову, имевшему близ Таганрога суконную фабрику». Жену свою Александру Ивановну и дочерей — девочек Федосью и Евгению, будущую мать А. П. Чехова, оставил в Шуе, Владимирской губ. у свояченицы. В 1847 г. Яков Герасимович внезапно скончался от холеры, в Новочеркасске. А в Шуе в огромном пожаре погиб дом свояченицы. Александра Ивановна с детьми осталась почти что на улице. Решила отправиться на юг, чтобы разыскать могилу мужа и собрать остатки имущества. Пришлось ехать на лошадях через половину России. Она доехала. Ни могилы, ни имущества не нашла, поселилась в Таганроге в доме ген. Папкова, вероятно «из милости». Так что Евгении Яковлевне с детских лет приходилось видеть много нерадостного. Может быть, облегчал ей жизнь природно-кроткий характер — смирение, повидимому, было врожденной ее чертой.

Сестра ее Федосья Яковлевна в этом походила на нее — «святая» по отзыву Антона Павловича. Вышла замуж за торговца «красным товаром» Долженко, там же в Таганроге.