Из книг Эзры и Неемии становится понятно, что только незначительное меньшинство вавилонских евреев вернулось в Землю Израиля. Архивы Мурашу, принадлежавшие влиятельной семье вавилонских банкиров и упоминающие множество евреев, рассматриваются как свидетельство участия последних в экономической жизни Ниппура в период правления Артаксеркса I (465/4-424 гг. до н.э.) и Дария II (423-404 гг. до н.э.). Некоторые евреи занимали влиятельные посты — это подтверждается библейским рассказом о Неемии, который был придворным высокого ранга при персидском царе; такое положение вещей отражено также в книгах Есфирь и Даниила. После завоевания Вавилона Александром Великим в 331 г. до н.э. Месопотамия примерно на два века попала под власть Селевкидов. Последние вскоре основали сеть новых городов, которые вместе со своими гарнизонами обеспечивали эллинизацию Вавилонии. У нас нет свидетельств о том, как этот процесс повлиял на еврейские общины. Новые правители подтвердили привилегии, которые были дарованы евреям персами. В конце III в. до н.э. евреи, служившие в селевкидской армии, были освобождены от исполнения некоторых обязанностей по религиозным причинам. Одним из наследий, доставшихся Вавилонии от селевкидского периода, было использование селевкидской эры при летосчислении (312 г. до н.э. принимался за первый год). Некоторые еврейские общины придерживались этого летосчисления еще в Средние века.

К 129 г. до н.э. упадок военной мощи Селевкидов сделал возможным наступление на запад парфян (Парфия была расположена на восток от Каспийского моря), и Вавилония перешла под их владычество. Парфянская держава позволила коренному населению жить в соответствии со своими традициями, оставив нетронутыми греческие колонии и благосклонно отнесясь к евреям. Вероятно, имели место контакты между парфянами и хасмонейскими правителями в Палестине. Известно, что в 41/40 гг. до н.э. парфяне сместили Ирода и поддержали Хасмонея Иуду Антигона, но были отброшены обратно за Евфрат римлянами в 38 г. до н.э.

О положении евреев в Парфянской империи в эллинистический период мало что известно, но есть свидетельства, что большинство из них были крестьянами и торговцами, существовала и небольшая прослойка аристократов. Известно об их связях с Землей Израиля, особенно с Иерусалимом, и паломничествах к Храму. Из истории об обращении в иудаизм царского дома Адиабены (государство в верховьях Тигра, находившееся в вассальной зависимости от парфян) около 40 г. н.э. становится понятно, что евреи и иудаизм были частью повседневной жизни и культуры Месопотамии того периода. Примерно с го по 35 гг. н.э. в Вавилонии существовало даже еврейское государственное образование.