Situadas a 13km al norte de KL constituyen un lugar sagrado para la comunidad hindú malaya, pues aquí se celebran los principales actos del Thai Pusam generalmente en el mes de Febrero. Cerca de 1.000.000 de miembros de la comunidad hindú malaya se reunen aquí para el acto principal del festival.
Las cuevas son de piedra caliza, formadas principalmente por tres grandes cavidades de 400m de largo por 100 de alto, aunque existen otras más pequeñas en las inmediaciones. Para acceder a ellas es necesario ascender 270 escalones.