В 1697—1699 годах Борис Петрович находился в Европе, выполняя дипломатические поручения.
Как полководец Шереметев приобрел широкую известность в годы Северной войны. С января 1700 года он уже назывался «генералом» и начальником «дворянской нестройной конницы». В сентябре его войско было под Нарвой, где через два месяца русские войска потерпели жестокое поражение. Однако отношение Петра к своему генералу не изменилось, и две недели спустя после Нарвского сражения он поручил ему идти в шведские земли и нанести сколько возможно вреда противнику.
В декабре 1701 года Шереметев принес России первую победу над шведами в сражении у села Эрестфер. За эту победу Шереметев был награжден орденом Св. Андрея Первозванного и был произведен в фельдмаршалы. Продолжая действовать против войск Шлиппенбаха, он одержал еще более крупную победу над ним под Гуммельсгофом в июле 1702 года. В продолжение двухмесячного похода удалось захватить крепости Мензу и Мариенбург. При взятии Мариенбурга в числе пленных оказалась и будущая жена царя Марта Скавронская (будущая императрица Екатерина I). В сентябре Шереметев с войском вернулся в Псков, ведя с собой свыше тысячи пленных солдат и офицеров, 51 орудие и 26 знамен.
Осенью, двинувшись к устью Невы, войска Шереметева овладели крепостью Нотебург. Петр переименовал Нотебург в Шлиссельбург («Ключ-город») и отпраздновал его взятие торжественным парадом войск через триумфальные ворота в Москве. А в следующем году были взяты Ниеншанц, Копорье, Ямбург и Везенбург. Таким образом, в 1703 году войска фельдмаршала Шереметева завоевали землю древней Ингрии с выходом к Балтийскому морю.
В апреле 1704 года по приказу Петра к Дерпту был направлен корпус под командованием Шереметева. Взяв город, фельдмаршал успел еще и содействовать царю в овладении Нарвой.
Уже осенью 1704 года Шереметев получил приказ Петра I отправиться во главе корпуса русской конницы против корпуса генерала Левенгаупта, находящегося в Литве. После прибытия в Витебск Шереметев обнаружил, что фураж для лошадей отсутствует, и решил не выходить в поход до тех пор, пока он не будет доставлен в войска. Раздосадованный поведением своего фельдмаршала, Петр прислал в Литву Меншикова, доставившего Шереметеву указ о переподчинении части его войска, прежде всего пехоты, фельдмаршалу Георгу Огильви, недавно нанятому на царскую службу. Конница по-прежнему оставалась под командованием Шереметева, но русский фельдмаршал был чрезвычайно недоволен создавшимся положением, ведь фактически своим указом Петр создавал в армии двоевластие.
Среди серии побед были у фельдмаршала Шереметева и военные неудачи. Так, в сражении у Мур-Мызы он потерпел поражении от корпуса Левенгаупта, но вскоре, приведя войска в порядок, Шереметев вновь перешел в наступление. Это было единственным поражением Шереметева за годы Северной войны, но оно скоро было забыто из-за новых побед, одержанных под руководством самого Петра I.
В конце 1706 года, после возвращения из Астрахани, где он руководил подавлением стрелецкого восстания, Шереметев вновь оказался в действующей армии. К этому времени он был пожалован графским титулом. Это было незадолго до вторжения шведских войск в Россию, и теперь фельдмаршал вновь оказался на главном направлении. Под его непосредственным руководством сейчас было 57, 5 тысячи человек – главные силы русской армии. Ей противостояло 25-тысячное войско во главе с самим Карлом XII.
В августе 1707 года шведское войско покинуло Саксонию и вторглось в пределы России. Несмотря на то что шведский король мечтал о генеральном сражении, Петр I не дал Карлу XII такой возможности и начал отступление с целью постепенного изматывания войск противника.
В начале марта 1708 года в местечке Бешенковичи состоялся военный совет, который обсудил план предстоящей войны с Карлом XII. Предложенный Меншиковым план кампании, Борис Петрович подверг критике. В свою очередь, он предложил иной план. Суть его сводилась к тому, чтобы отходить с боями, разрушать коммуникации противника, изнурять его силы, а потом дать шведам решительное сражение на своей территории.
Шереметев разделял идеи Меншикова об оборонительной стратегии, но резко выступал против разделения русской армии, как того требовал план Меншикова, поскольку считал, что в подобном случае войскам невозможно будет поддержать друг друга в случае опасности. Споры переросли в конфликт между главнокомандующим и командующим кавалерией. Шереметев был даже готов отказаться от своего поста, если из армии не будет отставлен Меншиков. И все же на военном совете победило мнение царского фаворита. Петр, в целом разделяя взгляды Шереметева, оставил Меншикова на прежней должности.