Абеляр остался в Шампани и близ Труа с согласия епископа и графа, подарившего ему участок пустовавшей земли, выстроил себе из дерева и тростника хижину и молельню. Вскоре ученики вновь начали стекаться к нему. «Так как копать землю я не имел сил, а просить милостыню стыдился, я был должен вместо того, чтобы жить трудами рук своих, вновь заняться знакомым мне делом и обратиться к услугам своего языка. Школяры же стали снабжать меня всем необходимым — пищей и одеждой, заботились об обработке полей и приняли на себя расходы по постройкам, чтобы никакие домашние заботы не отвлекали меня от учебных занятий». И вновь вокруг Абеляра на глазах рос студенческий городок из землянок и хижин. Молельню Абеляра расширили, из камня и дерева построили храм, названный им Параклетом — утешителем. Но снова дала себя знать зависть его врагов. Они придрались к тому, что свою церковь Абеляр назвал одним из имен Троицы — утешителем называли Дух Святой, следовательно, Абеляр вновь «расчленял» нераздельную Троицу. С ужасом он ждал созыва нового собора, где его вновь могли подвергнуть осуждению. Поэтому, когда к нему в 1125 году обратились монахи далекого монастыря Сен-Жильдас-де-Рюи в Бретани, пожелавшие, чтобы знаменитый соотечественник стал их аббатом, Абеляр принял это предложение. Но и в Бретани он быстро вступил в конфликт с монахами, не пожелавшими подчиняться правилам, которые пытался установить новый аббат. Против Абеляра начали плести заговоры и, по его словам, даже готовили покушение.

Покинутый Параклет недолго оставался пустым. В 1129 году аббат Сугерий добился присоединения женского монастыря в Аржантёе к владениям своего аббатства, и монахини, среди которых была Элоиза, были выселены из обители. С разрешения папы принадлежавшие монастырю земли вокруг Параклета и саму импровизированную церковь Абеляр передал Элоизе, где она разместила монахинь из Аржантёя, став их настоятельницей. Первое время монахини бедствовали, но бедственное положение женщин вызывало больше сочувствия, чем бедность мужчин, и в новую обитель начали поступать богатые дары, потянулись паломники. Славе нового монастыря способствовало и то, что Элоиза была своего рода знаменитостью, к тому же Абеляр из своего бретонского монастыря руководил организацией жизни новых монахинь. Параклет быстро стал известен как центр духовной музыки. Бывшие супруги составили устав женской обители, и Абеляр приезжал сюда отдохнуть душой, здесь ему было куда спокойнее, чем среди коварных бретонских монахов, хотя многие осуждали его за то, что он слишком часто общался с бывшей супругой и ее подопечными. Доведя повествование примерно до 1132 года, Абеляр завершает «Историю моих бедствий», однако сохранилась переписка Абеляра и Элоизы, настолько проникновенная, что вызывала у многих сомнения в подлинности — слишком уж современными, непохожими на обыденные представления о мрачных Средних веках, казались выраженные в этих письмах чувства.

Из других источников известно, что в середине 1130-х годов Абеляр вновь преподавал в Париже на холме святой Женевьевы. Примирившийся с королем Этьен де Гарланд предоставил Абеляру возможность вновь открыть школу на землях аббатства Сент-Женевьев, где сам Гарланд был деканом. Англичанин Иоанн Солсберийский рассказывал, как около 1136 года он прибыл в Париж и отправился к Абеляру, «всеми обожаемому и прославленному ученому, который тогда царил тогда на холме святой Женевьевы. Там, у его ног, я узнал первоосновы этой науки, поглощая с жадностью, в полную меру своих ограниченных способностей, каждое слово, исходящее из его уст».

Деятельность Абеляра вновь навлекла на него гнев могущественных врагов, прежде всего неутомимого Бернарда Клервоского, засыпавшего письмами прелатов и кардиналов: «есть у нас во Франции монах без устава, без попечения прелат, без послушания аббат, Петр Абеляр. Умствующий с мальчиками, рассуждающий с женщинами... с великим толпищем и со учениками своими... по улицам и переулкам умствуют о вере католической, о рождестве от Девы, о святыне алтаря, о непостижимом таинстве святой Троицы».

Абеляр был еще раз осужден на Сансском соборе в 1140 году. Правда, у него было достаточно много защитников. Сохранилась, например, «Апология Абеляра», написанная его учеником, клириком Беренгарием. Абеляр, уже больной, отправился в Рим, чтобы оправдаться, поскольку в папской курии он мог рассчитывать на помощь своих бывших учеников и единомышленников. В дороге его застала весть о том, что папа подтвердил решение собора. Обессиленный Абеляр нашел приют в монастыре Клюни — аббат этого древнего и славного монастыря Петр Достопочтенный недолюбливал не в меру ретивого Бернарда Клервоского, как и основанный им орден цистерцианцев. Петр Достопочтенный предоставил Абеляру условия для работы и обеспечил ему уход и лечение в приорате, принадлежавшем Клюнийской конгрегации, а когда в 1142 году Абеляр скончался, с почестями похоронил его там. Элоиза позже добилась, чтобы прах ученого был перенесен в Параклет, и в 1160 году ее похоронили рядом с супругом. После долгих мытарств, связанных с войнами и революциями, в 1817 году их прах был перезахоронен в Париже на кладбище Пер-Лашез. Поклониться Абеляру и Элоизе приходят толпы туристов. Париж по праву обладает могилами своих знаменитых влюбленных, без них история города была бы куда беднее.