Запустив «Марк–1», гарвардская группа, превратившаяся к тому времени уже в вычислительную лабораторию университета во главе с тем же Айкеном, начала работу над проектом «Марк–2». В этой машине для запоминания чисел, выполнения арифметических операций и операций управления должны были использоваться электромеханические реле. Законченный в 1947 году «Марк–2» содержал около 13.000 реле и был, таким образом, чисто релейной вычислительной машиной.
Каждая десятичная цифра была представлена здесь в двоичной форме и хранилась в группе из четырех реле.
В двоичной системе счисления используются две цифры – 0 и 1, и любое число поэтому представляется как последовательность нулей и единиц. Например, число 53 в двоичной системе выглядит как 110101.
Широкое использование двоичной системы в вычислительной технике обусловлено существованием простых технических аналогов двоичной цифры – например, электромеханических реле, которые могут находиться в одном из двух устойчивых состояний. Скажем, когда контакты разомкнуты, пусть это будет соответствовать 0, а когда замкнуты – 1. В таком случае для представления одной десятичной цифры потребуется 4 двоичных разряда (скажем, цифра 9 выглядит как 1001).

Арифметические операции выполнялись в сумматоре, который в новой машине, в отличие от «Марк–1», был отделен от памяти. Время выполнения операций сложения и вычитания занимало примерно 0,125 секунды. Умножение выполнялось в отдельном устройстве и требовало в среднем 0,25 секунды, а операция деления была заменена операцией вычисления приближенных значений обратных величин.