Началом создания Нового парка стала осень 1900 г, когда на планируемой территории был проведен ряд нивелировок с целью «трассирования» дорог и устройства близ ее восточной границы искусственного пруда для украшения парка и поливки деревьев. Для этого пруда предполагалось использовать воду источников, вытекающих в верховьях Широкой балки и дающих около 9 тысяч ведер в сутки. В 1901 г. для парка у Красных камней было выкопано 1650 деревьев из лесных посадок около Железноводска.
Для устройства Нового парка директор Вод В.В. Хвощинский пригласил садовника- пейзажиста Альберта Зегера, а после его трагической гибели — Юниуса Миллера. Они и главный садовник КМВ Василий Уткин и были создателями Нового парка. В 1902 г. парк фактически уже существовал с системой дорожек, парковым кафе, барачными и некоторыми другими строениями. В этом же году в Железноводском лесопитомнике было выкопано 1850 деревьев и рассажено в Новом парке. На безлесых ранее склонах этой местности были высажены дуб чересчатый, пихта бальзамическая, пихта кавказская, цуга тиссолистная, ель восточная и другие деревья.
Благодаря таланту указанных садовников, местность быстро преобразилась. Новый парк распланировали в «английском» пейзажном стиле. По мнению специалистов, «преобладающий жанр парка — смеющийся».
В парке провели две широкие накатанные дороги — проезжую и аллею для пешей публики. Вся территория была разбита на открытые широкие горно-луговые поляны, вокруг которых извивались дорожки и аллеи, обсаженные деревьями и кустарниками. Дорожки пересекались между собой, образовывали серпантины, замкнутые овалы и круги. При дорожках стояли скамейки для отдыха, около которых были посажены «плакучие» ясени и кусты сирени. На окружающих склонах гор при добровольном участии местных жителей, учащихся гимназий и училищ были высажены многочисленные саженцы сосен, елей и других деревьев. К лету 1904 г. в Новом парке было посажено 6 тысяч лиственных и хвойных деревьев. В последующие годы поддержкой и развитием кисловодского Курортного парка много занимались садовник-пейзажист Юниус Миллер и главный садовник Вод Андрей Аболин.
В 1901—1903 тг. в парке были также проложены первые дорожки терренкура. Здесь стал применятся эффективный метод лечения «дозированными восхождениями».
В 1902 г. юго-западнее Красных камней была возведена парковая гостиница из разборных гостиничных бараков, привезенных ранее с Нижегородской промышленной выставки. В 1903 г. рядом с барачной гостиницей Управлением Вод были нарезаны 17 дачных участков, составивших двадцатую часть площади Нового парка. В 1904 г. в аренду было сдано всего два дачных участка, а спустя два года продажа оставшихся участков была прекращена. Ниже барачной гостиницы при главной дороге были отведены особые площадки для любителей игры в «лаун-теннис».
Южнее Красных камней в 1902 г. была оборудована мощенная камнем циркульная обзорная площадка с лестницей, изящной балюстрадой и фигурными вазами для цветов. Эта площадка была одним из ключевых пунктов на первом и третьем маршрутах терренкура. С нее открывались прекрасные виды на ближние и дальние окрестности, а в хорошую погоду — на Эльбрус. На ближайшей возвышенности южнее обзорной площадки летом 1903 г. была сооружена для выступления оркестров деревянная музыкальная беседка с оригинальной крышей. К ней вели дорожки с узкими каменными лестницами.
