בפברואר 1914, סייר הברון בנימין (אדמונד) דה רוטשילד בצלעות הדרומיות של הרי הכרמל והביע את רצונו להיטמן למנוחת עולם ב"סלע".
בשנת 1936 יזם מר ג'יימס דה רוטשילד את הקמת הגנים הנוכחיים. ההר,המוכר בשמו אום אל עלק, נבחר להיות, האתר שבו יינטעו הגנים, בשל יופיו ובשל מיקומו הגיאוגרפי בין מושבות הברון בשומרון ממזרח, ואלו שעל חוף הים התיכון ממערב.
ארבעה עשר ממיטב אדריכלי הארץ הוזמנו להגיש הצעותיהם לתיכנון הפרוייקט, שהיה אמור לכלול את האלמנטים הבאים: מערת קבר חצובה בסלע, בנויה באיכות גבוהה שתבטיח עמידות, וסביבה גן ופארק יפים ואסתטיים למראה, שפרחים יפרחו בהם כל עונות השנה.
האדריכל אוריאל (אוטו) שילר זכה בתחרות והזמין את אדריכל הגנים שלמה ווינברג (ארן) חבר קיבוץ יגור, להשתתף בבחירת הרכבי הצומח השונים ומיקומם בגן. הקמת גני הזיכרון החלה ב – 1938, אבל עד 1948 לא חלה התקדמות רבה בגלל הפרעות המלחמה. אחרי קום המדינה הושלמו התוכניות והעבודה החלה שוב.
חברת "סולל בונה" מחיפה ובנותיה נשכרו כקבלנים הראשיים. רק אבן וחומרי בניין ארצישראליים שימשו בבנייה. את הפסלים בגן עיצבו רודה וישראל טראוב מזכרון יעקב.
העבודה הושלמה לבסוף ב – 1954, ואז נערכו הסידורים הדרושים ל העלאת עצמותיהם של הברון והברונית לקבורה מחדש. שמו של אתר הזיכרון הוסב, בתוקף חוק שנתקבל, מאום אל עלק, ל"רמת הנדיב."