Первоначально образованием младших Мечниковых занимались родители, а затем отец отвёз Илью в губернский город Харьков, где тот поступил сразу во второй класс 2-й мужской гимназии и поселился в частном пансионе Шульца на улице Рождественской, напротив ныне снесённой Рождественской церкви. Идти оттуда в гимназию было всего два квартала, находилась она возле другой церкви – Благовещенской. Здание гимназии было разрушено нацистами, там сейчас автостоянка, а на месте церкви ещё при жизни Ильи Ильича поднялся грандиозный собор.

Позднее он переехал в дом неподалёку – на Благовещенскую улицу к титулярному советнику Гвоздикову, где и прожил до окончания не только гимназии, но и университета.

По воспоминаниям одного из учителей, будущего директора этой гимназии Григория Шведова, из класса в класс успешно переходило около семидесяти процентов учеников; в среднем каждый гимназист раз в три года оставался на второй год, причём причину этого педагог видел не в малом радении учащихся, а в «многосложности гимназического курса, от которой проистекает поверхностность учения и которая развивает умственную апатию и отвращение к науке».

Но к Мечникову это не относилось. Благодаря однокласснику, сыну фабриканта Богомолова, а также молодому университетскому преподавателю химии Николаю Бекетову он увлёкся чтением. «Колокол» Герцена его не заинтересовал, зато труды Фогта, Молешотта и Бюхнера вызвали у него неподдельный интерес. Чтобы читать их, Илья даже взялся основательно штудировать немецкий язык. Под влиянием этих авторов он на всю жизнь остался атеистом. Не тянуло его к живописи, хотя у него преподавал известный художник Дмитрий Бесперчий, воспитавший учившегося на два класса старше будущего великого польского художника Генрика Семирадского.

Хотел Мечников поступить в Вюрцбургский университет, но не смог. Пришлось учиться в Харькове у профессора Ивана Щелкова на естественном отделении.

«Хотя Щелков не оставил по себе заметного имени в науке, но деятельность его как первого научного преподавателя физиологии в провинциальном университете не осталась бесследной, так как из его лаборатории вышло несколько серьёзных учёных, между которыми особенно выдался В. Я. Данилевский» – таковы слова Мечникова.

А «особо выдавшийся» профессор Василий Данилевский (однофамилец знаменитого слобожанского дворянского рода, сын рижского часовщика-выкреста, ставшего вторым харьковским фотографом и брат впервые поднявшегося над губернским городом на аэростате) отмечает работы Щелкова по дыханию мускулов, «справедливо считающиеся классическими и доставившими ему почётную известность в науке».

С книгой Дарвина «Происхождение видов» Мечников познакомился ещё до перевода на русский язык и с тех пор стал одним из адептов эволюционной теории. Университетский курс Мечников освоил за два года. Профессор Климент Тимирязев вспоминал, что в начале 60-х годов в учёных кругах Петербурга циркулировали слухи о появившемся в Харькове вундеркинде, который в своих статьях опровергал многие авторитетные мнения.