Во второй половине XIX в. великолепный кисловодский парк стал популярным, как нарзан. При контрагентстве Н.А. Новосельского в парке летом 1864 г. появились 24 «фото-нафтилевых» фонаря на деревянных столбах. В период контрагентства А.М. Байкова на КМВ приезжал командированный из Тифлиса ученый садовник Генрих Иванович Шаррер, составивший перспективные планы расширения и переустройства казенных курортных парков, в том числе и кисловодского.
В 1869 г. профессор А. Соколовский писал, что Кисловодск, прежде щедро наделенный природными богатствами, обладает сосредоточием объектов искусства «вокруг кипучего Нарзана в виде прекрасного парка, великолепной галереи и пр.»
О ранних деревянных беседках мы имеем самые общие представления. Они иногда указывались в воспоминаниях о парке, но очень обобщенно. Так, П. Залесов, посетивший Кисловодск в 1881 г., давая образные характеристики природным объектам парка, замечает, что «…переброшенные через ручей мостики и уединенные беседки делают парк поэтичным и живописным». Парковые гроты берут свое начало от искусственного грота под лестницей здания Ресторации, созданного творческим дуэтом зодчих братьев Бернардацци. На рубеже веков появились грот «Тур» («Цветочный») и другие. Один из мостиков в южной части парка в конце XIX в. получил галантное название — «Дамский каприз». Он был расположен у подножия бывшей Тупой горки и из-за частых наводнений неоднократно менял свой внешний вид.
