Чтобы эта победа была еще полнее и убедительнее, Ли подумывал утром 4 мая о проведении новой атаки. Он даже направил генерала Андерсона с тремя бригадами пощупать позиции левого фланга Хукера. Но, хотя на этом участке стояли деморализованные части 11-го корпуса, Андерсон, у которого потемнело в глазах от обилия синих мундиров, ограничился простой демонстрацией и доложил, что атака невозможна. Генерал Ли, лично изучивший позиции Хукера, и сам вскоре пришел к тому же выводу. Зато Седжвик со своим корпусом был теперь соблазнительно легкой добычей, и командующий южан решил расквитаться с ним за Фредериксберг и Салем Черч. Встав во главе дивизии Андерсона, он повел ее к броду Бенкс, который, согласно приказу Хукера, и оборонял 6-й корпус Потомакской армии.
В результате на Чанселорсвиллском плато остались лишь три дивизии корпуса Джексона (ими по-прежнему командовал Джеб Стюарт), создававшие видимость присутствия всей Северовирджинской армии. Хукер, однако, не был настолько глуп, чтобы не понять, где находятся основные силы южан на самом деле и какова примерная численность противостоявших ему частей. Впервые с начала Чанселорсвиллско-го сражения он стряхнул с себя оцепенение и предпринял попытку, правда, очень робкую, атаковать неприятеля. По его приказу генерал Гриффин, командир 1-й дивизии 5-го армейского корпуса, произвел демонстративное наступление в сторону просеки Баллока. В том случае, если на этом участке южане оказались бы действительно слабыми, демонстрация должна была развиться в настоящую атаку.
Но Джеб Стюарт, возглавив пехоту, не утратил качеств хорошего кавалерийского командира и, как и прежде, умел пускать пыль в глаза. Заметив шевеление Гриффина, он скрытно перебросил к просеке Баллока побольше своих частей, которые устроили для демонстрирующей дивизии такой «фейерверк», что, потеряв 500 человек, она поспешно ретировалась. Это небольшое представление совсем напугало Хукера, и он счел за лучшее больше не беспокоить своего опасного противника.
А события на левом фланге северян приняли тем временем совсем другой оборот. Первым там в дело вступил генерал Эрли, дивизия которого была прошлым утром выбита из Фредериксберга. Отступая после этого неудачного боя, она выбрала южную дорогу и не смогла участвовать в бою у Салем Черч. До Чанселорсвилла Эрли также дойти не успел и заночевал со своими людьми на Телеграфной дороге. Утром 4 мая он собрал все подчиненные ему части, кроме бригады Уилкокса, и направился с ними не на соединение с основными силами, а обратно к Фредериксбергу, чтобы отбить важные высоты Мари.
Смелый маневр увенчался успехом. Федералы не ожидали Старого Весельчака, и на гребне высот оставались только одни пикеты Увидев развернутых в боевую линию повстанцев, они ретировались, даже не разменявшись с противником парочкой-другой выстрелов. Сильный «гарнизон» был оставлен Гиббоном только в редуте на холме Тейлора, и засевшие там северяне не захотели уходить по доброй воле. Эрли бросил против них бригаду Смита, но укрепления, возведенные по приказу генерала Ли еще в декабре 1862 года, были по-прежнему сильны, и южане вскоре убедились в этом на собственном опыте. Массированный винтовочный и артиллерийский огонь противника не дал им даже близко по дойти к редуту.
Эрли, однако, слишком хорошо понимал важность высот Мари, чтобы оставить хотя бы их малую часть в руках неприятеля. По его приказанию к атаке начала готовиться уже вся дивизия и в числе прочих – бригада из Джорджии под началом генерала Джона Б Гордона. Но тут произошло недоразумение: Гордон, решивший, что приказ атаковать относится только к нему одному, повел свою бригаду на штурм, не дожидаясь остальных частей дивизии. Его солдаты под ураганным огнем с вершины холма уже приближались к укреплениям противника, когда к Гордону примчался адъютант Эрли с приказом прекратить атаку.
Гордон ответил на это, что приказ опоздал и что несколько следующих минут решат исход боя. Он оказался прав: не прошло и пяти минут, как его солдаты ворвались в редут и, рассеяв защитников, установили над холмом Тейлора знамена Конфедерации и штата Джорджия. Остальные бригады дивизии приветствовали этот успех джорджианцев громким криком, и генерал Эрли лично прибыл к ним с поздравлениями. Но, пожимая Гордону руку, он не преминул с любезной улыбкой заметить, что если бы самодеятельная атака не удалась, то командира бригады ждал бы трибунал.