В последние годы XIX в. началось расширение Нижнего парка. В 1901-1903 годах появился Средний парк, называвшийся тогда «Новым». Он протянулся от Сосновой горки и Площадки Роз до «Храма Воздуха» и Долины Роз. Здесь под руководством местного врача и бальнеолога Николая Оболонского проложены дорожки самого первого в России терренкура как способа тренировки сердечной мышцы.
Средний парк отличается ландшафтной планировкой, свойственной для английской традиции. Силами администрации Бештаугорского лесничества на склонах Крестовой горы была произведена посадка сосен на площади четырех десятин. Высаживались «дикие» саженцы, привезенные из Баталинского отделения лесничества. Сосны располагались на расстоянии сажени друг от друга.
В парке периодически проводились ремонтные работы. В 1906 г. обвалилась старая каменная набережная западного берега р. Ольховки и в 1908 г. 
была устроена новая каменная набережная. Тогда же были возведены и новые мостики с бетонными конструкциями.
В самом оживленном уголке старого парка, у северной его границы вблизи с Нарзанной галереей вместо существовавшего здесь ранее кафе в 1912—1914 гг. по проекту архитектора Н.Н. Семенова было выстроено крупное здание кофейни Вострякова. В его комплекс в качестве архитектурного обрамления входил великолепный структурный элемент в виде колоннады. Это оригинальное сооружение стало удачным образцом парковой архитектуры.
