En 1851 se estableció un cementerio particular para los extranjeros que residían en Colima, el cementerio se ubicaba sobre el camino que conducía a la Fábrica de San Cayetano y que actualmente se llama Venustiano Carranza.
El norteamericano Roberto Barney cedió gratuitamente el terreno para dicho cementerio, se designó un consejo directivo entre los mismos extranjeros; marcando obligaciones y deberes correspondientes.
Se acordó que todos los asociados cubrirían una cuota mensual previamente convenida para los gastos de mantenimiento del cementerio.
También se designó a una persona responsable del cuidado, aseo y regado de los árboles y plantas que habían sido sembradas.
El último sepultado fue en el año de 1944, después varios extranjeros fueron exhumados a petición de sus familiares y llevados a su país de origen.
En 1999 el H. Ayuntamiento de Colima resuelve rescatar el Panteón y transformarlo en el Jardín del Recuerdo para evitar que personas ajenas lo invadieran.