Наибольшего успеха в карьере Рамос достиг с «Севильей», выиграв во главе андалусцев два Кубка УЕФА в 2006 и 2007 годах.
Отметим, что 55-летний Рамос занимается тренерской деятельностью с 1993 года, и помимо «Севильи» успел поработать с рядом испанских клубов — «Бетисом», «Эспаньолом», «Малагой» и мадридским «Реалом».
Рамос оставил свой след и в Англии, где в сезоне 2007/08 привел «Тоттенхэм Хотспур» к триумфу в Кубке Лиги.
Последним местом работы Хуанде Рамоса был московский ЦСКА. Испанец пробыл в Москве всего несколько месяцев и из-за неудачных результатов в чемпионате России и Лиге чемпионов был снят с поста тренера.