Суровый замок тоже имеет свою легенду.

Рассказывают, что в соответствии с каким-то примитивным, варварским обычаем, как две капли воды похожим на тот, что дошел до нас в душераздирающем сербском эпосе «Построение Скадра», некая девушка из Мацуэ была заживо погребена под стенами замка во время его возведения в качестве жертвы неведомым ныне богам. Ее имя не попало в письменные источники, и о ней не сохранилось никаких сведений, кроме того, что она была красива и очень любила танцевать.

После того, как замок был построен, был якобы принят закон, запрещающий девушкам танцевать на улицах Мацуэ, потому что стоило какой-либо девушке пуститься в пляс, холм Осиро-яма начинало трясти, и большой замок содрогался от фундамента до самой крыши.