גן הריחות הוקם ב-1985 על פי הצעתה של הגברת ג'יימס דה-רוטשילד (דורותי פינטו, 1895-1988, מייסדת קרן רוטשילד-יד הנדיב), למען מבקרים כבדי ראייה כמו גם לציבור הרחב. הגן תוכנן בידי משרד מילר-בלום כך שיכוון אל חוש הריח, המישוש והשמיעה יותר מאשר אל חוש הראייה של המבקרים.

בתוך ערוגה מוגבהת המקיפה את הגן גדלים צמחי תבלין וריח לצד צמחים המגרים את חוש המישוש. מעקה הנחייה המותקן על קיר התמך של הערוגה משובץ תוויות הסבר בכתב ברייל, בלטינית, עברית וערבית. בריכה עגולה ובה מזרקה מוקפת פרגולת עץ המסוככת על ספסלי ישיבה. אלמון הודי ריחני מטפס על הפרגולה ומעניק למבקרים בימות הקיץ צל וריח משכר.