Попытка поступить во Второе Балтийское училище и стать моряком-подводником закончилась неудачей. Бродский полагал, что его не приняли, потому что он еврей. В неполные шестнадцать лет он ушел из школы и поступил учеником фрезеровщика на завод № 671, известный в городе под своим старым откровенным названием «Арсенал». На заводе он проработал около полугода. Годы юности прошли в чередовании периодов, по нескольку месяцев каждый, когда Бродский работал – помощником прозектора в морге областной больницы, кочегаром в бане, матросом на маяке, рабочим в геологических экспедициях, – и периодами поисков работы, которая давала бы возможность заниматься самообразованием и литературой. За исключением работы в прозекторской, куда шестнадцатилетний Иосиф пошел, полагая таким образом подготовиться к медицинскому институту, остальные его службы требовали неквалифицированного физического труда: бросать уголь в топку, сколачивать ящики, копать ямы, таскать груз. В те годы он производил впечатление здорового молодого парня. Случайный знакомец рассказывает: «Бродский тогда был здоровый рыжий парень, конопатый, вот с такими плечами, все как надо»⁷⁵. А. Я. Сергеев в начале своих записок «О Бродском» пишет: «Открываю дверь, вижу: стоит ражий рыжий парень. Широкоплечий, здоровенный…»⁷⁶ Вероятно, однако, что он уже страдал наследственной болезнью сердца. В семье это стали замечать после его возвращения из Средней Азии в 1960 году, а в 1962 году он получил освобождение от военной службы «по ст. 8 „в“, 30 „в“ (неврозы, заболевание сердца)»⁷⁷.

От первой, заводской, работы остались воспоминания о бестолковой организации труда, пьянстве и лодырничанье рабочих⁷⁸. Каждый день надо было вставать чуть свет и ехать в битком набитом автобусе на завод, где предстояло провести день то в бесконечных перекурах и разговорах о футболе, то в лихорадочной «штурмовой» работе. Скука и бессмыслица такого существования отразились в не таких уж шутливых «Рубаи»: