Вплоть до середины XIX века Нижний парк назывался Публичным садом. За этим садом был закреплен военно-рабочий инвалидный отряд КМВ. В его задачи входили уход за территорией и растениями, охрана и ремонтные работы. Благоустраивали парк ученые садовники и садовые ученики. История сохранила имя одного из них — английского ученого «плантера» Людвига Джерсея, работавшего главным садовником КМВ в 1835—1838 годы.
В середине 1830-х годов центральная аллея парка уже называется «густой» и «тенистой», «деревья и растения необыкновенной силы и свежести». Во время приезда М.Ю. Лермонтова в Кисловодск в 1837 г. Публичный сад тянулся до первого водопада на Ольховке на расстояние более версты и занимал площадь около 10 га, представляя собой обширное и уютное место для прогулок представителей «водяного общества» всех сословий. Накануне была восстановлена и дополнена ограда, расчищены и подсыпаны дорожки, отремонтировано пять деревянных мостиков, посажены десятки деревьев. В повести «Княжна Мери» писатель-реалист Лермонтов представил парк так: «Здесь дышится уединением, здесь все таинственно, и густые сени липовых аллей… и свежесть ароматического воздуха, отягощенных испарениями высоких южных трав и белой акации, и постоянно, сладостно усыпляющий шум студеных ручьев…».
1841 г. курорт посетил преподаватель Ставропольской гимназии П. Хицунов. Ему показалось, что «прелестнее этого сада ничего вообразить невозможно». Еще одно из образных описаний парка относится к 1843 году : «После обеда на Кисловодском гулянье кипела публика… Сад, где собираются посетители, раскинут в теснине гор, из ущельев всегда веет прохлада, упитанная благовонием цветущей липы и других душистых дерев и растений; густая тень делает это гулянье приятным даже в самый сильный зной. Горный ручей, быстро и ропотно стремящийся во все протяжение сада, извивается по каменистому руслу. Аллея тянется столь же извилисто, как и ручей. Посетители доходят до конца ее в густой тенистой группе берез: здесь ручей ниспадает с камня вышиною около сажени. Это место почтили названием каскада. У водопада в тени берез стоит скамья… Зелень кисловодского сада, поддерживаемая влажностью воздуха, остается во всей красоте до глубокой осени».
