Согласно первой версии, выражение связано с технологией приготовления киселя. Чтобы получить необходимый для него крахмал, растёртый картофель несколько раз промывали водой, а потом ждали, когда выпадет осадок.
И как вы понимаете, при каждой следующей попытке крахмала в воде становилось всё меньше, количество осадка уменьшалось. Что при должной фантазии напоминало уменьшение степени родства в зависимости от дальности родственных связей.