Первым опытом великого князя на высоком командном посту стала операция в Восточной Пруссии. По замыслу русского командования германские войска в ходе операции должны были попасть под двойной удар: 1-я русская армия (командующий П.К. Ренненкампф) обходила немцев с севера в обход Мазурских озер и отрезала неприятеля от Кенигсберга, а 2-я армия (командующий А.В. Самсонов) вела наступление с юго-запада, не давая противнику отвести войска за Вислу.
Наступление началось в августе 1914 года. Несмотря на то что русские войска обладали некоторым превосходством над противником, к началу сентября Восточно-Прусская операция завершилась полным поражением армий Северо-Западного фронта. Русские войска понесли огромные потери – было убито и взято в плен до 250 тысяч человек.
Восточно-Прусская операция ярко выявила неподготовленность верховного главнокомандующего и его штаба к управлению войсками и решению стратегических задач. После поражения Николай Николаевич посылает императору следующую телеграмму: «Я совершенно сознаю, что не сумел настоять на исполнении моих требований, посему слагаю перед Вашим Величеством мою повинную голову». Император не стал привлекать к ответу виновников гибели и пленения четверти миллиона русских солдат в Восточной Пруссии, а чтобы поддержать главнокомандующего, он награждает его орденом Св. Георгия 3-й степени.
На Юго-Западном фронте дела обстояли более успешно. Там предусматривалось наступление 5-й и 3-й армий на Львов с целью окружения и уничтожения основных сил Австро-Венгрии. Командование противника решило остановить продвижение русских войск, но шестидневная битва вынудила австрийцев отступить за реку Сан и Дунаец, понеся огромные потери.
Эти победы явились своеобразным подарком для верховного командования русской армии. В сочетании с действиями войск на Люблинском направлении создавались условия для разгрома австро-венгерских армий. Галицийская битва, продолжавшаяся на фронте в 400 километров почти 40 суток, принесла русским новую победу. В этом сражении австрийские войска потеряли около 400 тысяч человек убитыми, ранеными и плененными. Русские войска потеряли почти 230 тысяч солдат и офицеров. Верховный главнокомандующий немедленно доложил об этом императору и представил ходатайство о награждении орденами всех командующих армиями Юго-Западного фронта и многих командиров корпусов и дивизий орденом Св. Георгия 4-й степени. Несколько военачальников были представлены к ордену Св. Георгия 3-й степени.
Победы в Галиции подтолкнули Ставку на очередную стратегическую операцию. Верховный главнокомандующий и его ближайшие помощники стремились узнать мнение командующих фронтами, на переписку с которыми уходило драгоценное время.
Поражение в Галиции поставило Австро-Венгрию на грань катастрофы, и она обратилась за помощью к своему союзнику – Германии. Русское командование приготовилось парировать готовившийся удар на Варшавско-Краковском направлении. Как показали дальнейшие события, направление удара войск союзников было определенно Ставкой правильно.
В планы русского командования входило отражение удара на Варшавском направлении с последующим переходом в контрнаступление. Николай Николаевич приказал перегруппировать в район Средней Вислы главные силы Юго-Западного и часть сил Северо-Западного фронтов. На этот раз верховный главнокомандующий не пошел на поводу у своих советников. Он сам постепенно, но настойчиво овладевал полководческой наукой. В его руках была сосредоточена большая власть, и он был призван решать вопросы не только связанные с оперативным использованием вооруженных сил, но и многие другие, от которых зависел успех военных операций. На этот раз он решил объединить руководство войсками, сосредоточенными на Средней Висле, в руках опытного генерала Иванова. Согласно директиве Ставки, с 19 сентября в его подчинение переходили на время предстоящей операции 2-я армия, а также Варшавский отряд с крепостью Новогеоргиевск. Благодаря этому на участке фронта от Варшавы до Ивангорода под единым командованием были сосредоточены три армии и несколько отдельных корпусов.
На первом этапе операция развивалась не совсем удачно из-за того, что войска не успели полностью завершить перегруппировку, но героическая оборона частей, принявших на себя первый удар противника, помогла русскому командованию выиграть время для сосредоточения всех войск. Вскоре верховный главнокомандующий лично прибыл в войска, чтобы ознакомиться на месте со сложившейся обстановкой. Тщательно все изучив и выслушав мнения командующих армиями, Николай Николаевич решил разделить управление войсками. При этом оборона Варшавы и южных подступов к ней была поручена генералу Рузскому, которому предписывалось в короткие сроки закончить развертывание сил, предназначенных для наступательных действий и закрепления широких плацдармов на левом берегу Вислы.