Es war der 5. April 1880, da starb Diego Ponte del Castillo - 8. Marqués de la Quinta Rojay - in der Nähe von Garachico. Er wurde nur 39 Jahre alt. Am gleichen Tag wurde seine Leiche nach La Orotava gebracht. Dort sollte sie in der Familiengruft auf dem Friedhof beigesetzt werden. Der dortige Pastor verweigerte aber die Beisetzung in das Familiengrab, so dass der Leichnam genau daneben begraben wurde.
Die Verweigerung begründet man damit, dass Diego Ponte del Castillo eines der führenden Mitglieder der Freimaurerloge La Orotavas war. Das Verhalten der katholischen Kirche veranlasste die Mutter des Marqués, Sebastiana del Castillo y Manrique de Lara, zu seinem Gedenken und als Anklage gegen die Intoleranz der Kirche, ein Mausoleum errichten zu lassen.
Dort sollte dann der Leichnam ihres Sohnes, ihres verstorbenen Mannes und ihr eigener Leichnam bestattet werden.
Die Gedenkstätte wurde dann im Garten eines der Stadthäuser der Familie in La Orotava errichtet. Das Haus befand sich in der Calle San Agustín direkt an dem heutigen „Plaza de la Constitución“. Sebastiana del Castillo beauftragte den französischen Architekten Adolphe Coquet (1841–1907) mit dem Bau eines Monumentes. Adolphe Coquet war ein bekannter Stararchitekt, der mit dem Verstorbenen persönlich bekannt gewesen war.
Er erstellte das Gebäude in Lyon aus weißem Marmor und alle Einzelteile wurden verpackt und nach La Orotava gesendet. Im Frühjahr 1882 begann dann der Aufbau, den er persönlich überwachte.
Das komplette Gebäude wurde nach seinen Plänen erstellt. Dass er aber an der Planung des Gartens oder an der Pflanzenauswahl beteiligt war, dafür gab es keinerlei Hinweise. Im Jahr 1888 fand im Park eine Gartenbauausstellung statt. Viele prominente Persönlichkeiten der Kanarischen Inseln besuchten den Garten. Sie alle nahmen die Vorwürfe wegen des Verhaltens der Kirche im Fall der Beerdigung des Marqués, die auf einer Gedenktafel an dem Mausoleum erhoben wurden, zur Kenntnis. Komischerweise wurde nach 1936 zwei Zeilen, die sich gegen die Katholische Kirche wendeten, aus der Tafel herausgemeißelt.
Nach dem Tod von Sebastiana del Castillo y Manrique de Lara, der Gründerin der Gartenanlage im Jahr 1904, wurde das Wohngebäude umgestaltet und ca. 1907 als Hotel genutzt. Das Hotel wurde dann nach der Britischen Enkeltochter, der Spanischen Königin Victoria Eugenia, benannt. Aus dieser Zeit stammt auch der Name des Gartens, Jardín Victoria. Zu diesem Zeitpunkt übernahm der Garten die Aufgabe eines Kurparks.
1938 wurde das Hotel wegen des Bürgerkrieges geschlossen und der Park als Gemüsegarten genutzt. Bei einer Erbteilung wurden der östliche Teil des Hauses und der daran angrenzende Teil der untersten Terrasse von dem restlichen Haus und Park getrennt. Im Jahr 1961 kaufte die „Sociedad Cultural Liceo Taoro“, eine Vereinigung zur Pflege der Kultur und des Brauchtums, den westlichen, größeren Teil des Gebäudes. 1975 verlegte die „Sociedad Cultural Liceo Taoro“ ihren Sitz in das Gebäude, das östlich des Barranco Araucho an den Park angrenzt.
Im Jahr 1982 beschloss die Stadt La Orotava das Gebäude zu kaufen, um dort ein Altersheim einzurichten. 1990 wurde dann auch das restliche Gelände des Parks von der Stadt gekauft. Die Wiederherstellung eines an das ehemalige Aussehen angenäherten Zustandes dauerte über acht Jahre. Im Mai 1999 wurde der Park dann der Öffentlichkeit übergeben. 2003 kündigte die Regierung an, den Park als historischen Garten unter Denkmalschutz zu stellen.