С отъездом в Лозанну у Воронова начался непростой период жизни. С научной и врачебной деятельностью возникли трудности: он лишился своего питомника обезьян, хорошо оснащенной лаборатории и клиентов. Его профессиональная репутация как исследователя и практикующего врача начала терять привлекательность для пациентов. С финансовой точки зрения проблем у семьи Вороновых не было, даже при отсутствии новых заработков состояния Сержа хватило бы на долгие годы безбедной жизни. Однако, несмотря на то что вторая супруга оставила ему значительное наследство, в конце 1940-х годов он не мог уже достичь той славы и успеха, которые сопровождали его в 1930-е.