Новый этап преобразования Нижнего парка пришелся на конец 1890-х годов. С 1897 г. ученым садовником КМВ был Кроков, который занимался и вопросами развития кисловодского парка. Архитектор Управления Вод И.И. Байков соорудил несколько оригинальных парковых павильонов, включая и кирпичную беседку над водопадом Семиградусного источника. Этот павильон у пруда был сооружен к сезону 1896 года. Одновременно были укреплены грунтовые берега декоративного Зеркального пруда.
При проведении в 1895 г. первого водопровода от Лермонтовского источника в Кисловодске появились первые фонтаны, придавшие Курортному парку еще большую красоту. Было устроено три фонтана: один на Царской площадке и два у Нарзанной галереи, с южной и западной сторон. Они фигурные или округлые в плане с центральным расположением основного конструктивного элемента. Особенно популярным среди посетителей, фотографов и художников стал фонтан «Лягушки» в курдонере Нарзанной галереи, построенный в 1895 году. В публикациях местных периодических изданий 1902 г. как «новый» описывался некий фонтан на спуске с Романовской горки, вероятно, на Царской площадке вблизи центральной парковой аллеи.
В этот период на площадке южнее Нарзанной галереи была установлена великолепная музыкальная раковина с портретом русского композитора М.И. Глинки на верхней части арочного обрамления сцены. Необычное и красивое здание Торговой галереи («Подкова») также появилось вблизи Нарзанной галереи в самом конце XIX века. Впервые строение показано на плане парка 1900 года. Возведено оно было на месте первой музыкальной площадки или вблизи нее. В начале XX века в этой галерее находился ряд частных лавочек и небольшое сезонное почтовое отделение. После сноса во время строительства Скальковских ванн (1895 г.) старого кумысно-лечебного заведения кумысный павильон был устроен в парке чуть южнее казенной гостиницы. В 1898 г. у средней части центральной аллеи было возведено изящное белое здание новой курортной библиотеки-читальни «в прекрасном античном стиле». Десятилетия этот павильон использовался по назначению как летняя читальня.
