В первом же своем сезоне за «Челси» восемнадцатилетний Гривз забил 22 гола, а в следующем стал лучшим бомбардиром чемпионата с 35 мячами. Англичане и по сей день вспоминают знаменитый матч того сезона, когда 30 августа 1958 года «Челси» разгромил действующего чемпиона Англии «Вулверхэмптон» со счетом 6:2. Гривз забил 5 голов, начисто переиграв своего знаменитого опекуна, центрального защитника и капитана сборной Англии Билли Райта. 19 ноября 1960 года двадцатилетний Гривз забил уже свой 100-й мяч, став самым юным английским футболистом, сумевшим добиться такого результата в первом дивизионе.
Годом раньше он дебютировал в сборной Англии в матче со сборной Перу. Национальная команда потерпела в тот день одно из самых позорных поражений за всю свою историю — 1:4, но единственный гол забил Джимми Гривз. С тех пор, играя за сборную, он почти никогда не уходил с поля без гола. В сезоне 1960—1961 года только в 5 матчах Гривз записал на свой счет 11 мячей.
Столь поразительных успехов юный форвард добивался за счет феноменального чувства гола и реактивной скорости. Он всегда умел оказаться там, где его не ждали защитники, но куда отскакивал мяч или следовала неожиданная передача партнера. Действия Гривза были непредсказуемы и в то же время по-футбольному изящны. Невысокий и далеко не мощный футболист не прорывался сквозь защитные линии соперника, а преодолевал их с помощью быстрого и хитрого маневра.
В сезоне 1960—1961 года Джимми Гривз забил в чемпионате Англии 41 мяч. Это достижение и по сей день остается непревзойденным клубным рекордом «Челси». Однако, несмотря на столь результативную игру в атаке, «Челси» в те годы плелся в середине таблицы, поскольку отличался крайне слабой защитой. Клубу случалось, например, забить 5 мячей, но пропустить 6. Впрочем, Гривзу суждено было играть в «Челси» не слишком долго — в 1961 году он перебрался в «Милан».
Причин для этого было несколько. Во-первых, в начале 1960-х годов английские клубы даже своим звездам платили весьма скромные деньги. Теперь в это трудно даже поверить, но никто из футболистов не получал больше 20 фунтов стерлингов в неделю. «Милан», впрочем, тоже тогда не отличался щедростью, но в то же время условия, предложенные Гривзу, были несравненно лучше. Кроме того, он и его жена хотели бы сменить обстановку, поскольку пережили трагедию — их четырехмесячный ребенок умер от пневмонии.
Однако пребывание в «Милане» оказалось для Джимми Гривза лишь кратковременным и не слишком приятным эпизодом. Ему сразу же не понравилась железная дисциплина, установленная тогдашним тренером Нерео Рокко. Тренер следил буквально за всем — что Гривз ел, сколько курил и сколько пил пива. А пива, кстати говоря, уже в ту пору футболист пил все больше и больше, как и других спиртных напитков, пристрастившись к алкоголю после смерти сына.
В итоге почти все его заработки в «Милане» уходили на штрафы и на оплату услуг адвокатов, которых он нанимал, чтобы досрочно расторгнуть контракт. Однако Гривз успел сыграть в миланском клубе 14 игр и забил 9 мячей. Вскоре он вернулся в Англию, чтобы дальше выступать за «Тоттенхэм Хотспур». В начале 1960-х годов это был один из сильнейших английских клубов, и Гривз, быстро вписавшись в основной состав, вновь стал забивать голы. Как раз к этому времени профсоюз футболистов добился и заметного повышения зарплаты в английских клубах.
За те 7 сезонов, что Гривз провел в «Тоттенхэме», он 4 раза становился лучшим бомбардиром чемпионата, а в конце концов стал рекордсменом Англии, забив в общей сложности 357 мячей. Пока это достижение никто не превзошел. В 1962 и 1967 годах «Тоттенхэм Хотспур» выигрывал Кубок Англии. В 1963 году завоевал Кубок обладателей кубков, сокрушив мадридский «Атлетико» — 5:1. Два гола в этом матче забил и Джимми Гривз.
Годы, проведенные в «Тоттенхэме», были поистине звездным временем для Джимми Гривза. Популярнее, чем он, в Англии футболиста не было. В 1963 году двадцатитрехлетний форвард был в числе тех, кто представлял Англию в матче против сборной мира, посвященном 100-летию английского футбола. В сборной мира играли Лев Яшин, Эйсебио, Пушкаш, Денис Лоу и другие звезды, а капитаном ее был ди Стефано. И все-таки выиграли родоначальники футбола — 2:1, причем решающий гол забил во втором тайме в ворота югославского вратаря М. Шошкича, сменившего Яшина, Джимми Гривз.
В 1962 году форвард «Тоттенхэма» участвовал в чемпионате мира 1962 года, но сборная Англии в том году была далеко не самой сильной. Она дошла до четвертьфинала, где проиграла сборной Бразилии, будущему чемпиону мира — 1:3. Успехи Гривза тоже были более чем скромны — он забил лишь один гол.