В 1924 году Хармс познакомился с Эстер Русаковой на музыкальном вечере её брата – композитора Поля Марселя.
Даниил и Эстер в 1928 году поженились, но часто ссорились – Эстер не понимала творчества Хармса, не была близка ему по духу. Через несколько лет они расстались, несмотря на взаимную любовь. Судьба Эстер впоследствии сложилась трагически: она была арестована и погибла на Колыме.
В 1934 году Хармс женился на Марине Малич. Ей он писал:
Друг мой верный, всё поймешь,
Как бумажка, как свистулька,
От меня не отойдёшь…
Совместная жизнь Даниила и Марины складывалась не всегда гладко, но вторая жена любила его и оставалась с ним до конца.