На протяжении всего периода Второго Храма евреи и самаритяне пребывали в состоянии постоянного конфликта друг с другом. Многие ученые на основании изучения Самаритянского Пятикнижия и самаритянского письма пришли к выводу, что раскол должен относиться ко времени строительства самаритянского храма на горе Гризим в поздний персидский период и его разрушения хасмонейским царем Иоанном (Йохананом) Гирканом в 128 г. до н.э. Эти ученые считают, что верхушка Самарии, которая выступала против восстановления Иерусалима, не должна отождествляться с более поздней сектой самаритян. Такое различие представляется неправомерным. Хотя очевидно, что раскол был результатом долгого процесса, его ранние этапы проявились уже в первые годы персидского периода.
Самаритяне были смешанным народом, состоявшим из израильтян, которые не были изгнаны после разрушения Северного царства в 722 г. до н.э., и потомков различных народов, которые были переселены в этот район ассирийцами в надежде, что национальные чаяния Израиля больше не возродятся. Эта смешанная группа унаследовала синкретическую форму иудаизма, объединявшую старые северные традиции с традициями переселенных народов. Когда начались работы по восстановлению Храма, самаритяне хотели участвовать в осуществлении проекта, но были отвергнуты иудеями по причине своего сомнительного происхождения.
Во времена Первого Храма иноземцы могли неформально присоединиться к еврейскому народу путем поселения на его земле и следования его религии и законам. Во время изгнания иудаизм перестал отождествляться с народом, связанным землей и единой культурой, и стал обозначать религиозную и этническую общину, определявшуюся происхождением ее членов. Как еще мог иудаизм гарантировать преемственность в отрыве от своей родины? Евреи, вернувшиеся из Вавилонии, не могли принять сомнительную генеалогию самаритян. Напомним, что в то время не существовало системы обращения в иудаизм, вроде той, которая возникнет позднее в эпоху Второго Храма. Таким образом, другого решения быть не могло — даже если бы самаритяне отказались от своей синкретической традиции. Раздосадованные самаритяне попытались, правда без особого успеха, повлиять на персидские власти, чтобы те приостановили строительство Храма и ограничили возможности религиозного и светского правительства евреев.
Самаритянский вопрос, без сомнения, осложнялся другой традиционной проблемой. Начиная с ранних дней монархии существовало разделение между Севером и Югом. Этот раскол привел в конечном итоге к разделу царства после смерти Соломона. Несомненно, северяне выступали против централизации жертвоприношений в Иерусалиме во время правления Соломона. Они отвергли все попытки по введению централизованного богослужения в Иерусалимском Храме. Соответственно, после раздела царства северяне установили святилища в Бет Эле и Дане. Та же самая оппозиция централизации культа в Иерусалиме, вероятно, помогала лидерам Самарии обосновать свои попытки воспрепятствовать восстановлению Храма.
В значительной степени поэтому самаритянский вопрос в начале периода Второго Храма следует рассматривать как продолжение раскола между Севером и Югом во времена Первого Храма. Подобно своим предшественникам на севере, самаритяне настаивали на праве приносить жертвы за пределами Иерусалима. В персидский период евреи отвергли самаритян из-за их синкретического богопочитания и присутствия в их населении неизраильской составляющей. Выполнение предписаний Книги Второзакония и следование наставлениям пророков не оставляли евреям иной возможности.