Он покинул свою семью и родные места и превратился в так называемого ваганта, бродячего школяра, переходившего в поисках знаний из школы в школу. Так Абеляр добрался до Парижа и стал там учеником католического богослова и философа Гильома из Шампо, преподававшего философию в кафедральной школе.
Одни исследователи полагают, что это произошло уже в конце XI века, другие — относят данное событие к первым годам XII века.
Гильом очень скоро заметил способного юношу и выделил Абеляра из числа других своих учеников. Но хорошее отношение Гильома к Абеляру длилось недолго. Абеляр начал открыто и смело выступать против философской концепции своего учителя и вызвал этим большое недовольство с его стороны. Разрыв был неизбежен. Абеляр не только покинут кафедральную школу, но и решил открыть свою собственную, выбрав для этого Мелен, расположенный недалеко от Парижа.
Несмотря на противодействие Гильома, школа была открыта, и лекции нового магистра привлекли сразу же много учеников. Увидев это, Абеляр решил перебраться к Парижу еще ближе и перевел свою школу в Корбейль для того, чтобы чаще встречаться со своими философскими противниками — Гильомом и его учениками. Однако в результате тяжелой болезни, вызванной напряженными занятиями, Абеляру пришлось прекратить свою деятельность и на время уехать на родину.
Оправившись от болезни он опять возвратился в Париж (около 1108 года), возобновил свои старые споры с Гильомом из Шампо и одержал над ним решительную победу. Слава Абеляра как философа к этому времени настолько выроста, что преемник Гильома в кафедральной школе пригласил туда Абеляра для чтения лекции и сам стал его слушателем.
Гильом же переехал из Парижа в аббатство Сен-Виктор и лишь изредка наезжал в кафедральную школу ради надзора. Узнав о слабости, проявленной его преемником, Гильом поспешил заменить его (в качестве руководителя школы) другим своим учеником и вынудил таким образом Абеляра опять переехать в Мелен и открыть там новую школу.
Однако и на этот раз Абеляр пробыл в Мелене недолго. Собрав вокруг себя учеников, он вместе с ними вернулся в Париж и «раскинул, — как он выражался, — свой школьный стан» на холме Св. Женевьевы. Неизвестно, чем окончились бы на этот раз бесконечные диспуты Абеляра и его учеников с их противниками.
По семейным обстоятельствам, связанным со вступлением обоих его родителей в монастырь, Абеляр был вынужден вновь уехать на родину, а когда он вернулся в Париж (пробыв некоторое время в Бретани, а затем в Лане, куда он отправился с целью пополнить свое светское образование богословским), Гильома из Шампо в кафедральной школе Парижа уже не было. Назначенный епископом Шалона, он переехал в свою епархию (1113).
Абеляр получил возможность читать лекции в той же самой школе, из которой ранее был изгнан. В Париже, как и в других городах Северо-Восточной Франции, шла упорная борьба между представителями различных философских школ. Именно здесь, и именно в это время в средневековой философии сложились два основных направления — реализм и номинализм, последователи которых вступили друг с другом в ожесточенные столкновения.
Родоначальником средневекового номинализма был Росцелин, учитель Абеляра, а современный Росцелину реализм представлял Ансельм, архиепископ Кентерберийский, ученый наставник богослова Ансельма Ланского, ближайшим учеником которого являлся философский враг Абеляра — Гильом из Шампо.
Средневековый реализм получил свое наименование от латинского слова «rea» — «вещь», так как представители этой чисто идеалистической теории утверждали, что общие понятия (универсалии) обладают реальным существованием независимо от действительно существующего мира и до него. Доказывая таким образом и «реальность» существования объектов веры, средневековый реализм отвечал интересам католической церкви и находил с ее стороны полную поддержку. Учению реалистов номиналисты противопоставили учение о том, что все общие понятия и идеи (универсалии) — есть лишь слова или же наименования («nomia» — «имена») вещей, существующих действительно и предшествующих понятиям (отсюда и само наименование номинализма).
Следовательно, номиналисты резко противопоставляли общее частному и признавали за подлинную реальность один только мир индивидуальных вещей. Отрицание номиналистами независимого существования общих понятий несомненно расчищало почву для стремления к эмпирическим знаниям и в какой-то степени толкало последователей номинализма на путь материалистических выводов.