Спустя 13 лет после открытия Ф. И. Гаазом первого железноводского источника герой Отечественной войны 1812 г. (генерал-майор артиллерии, директор тульского оружейного завода, писатель)  Илья Тимофеевич Радожицкий описывал его в виде небольшого ручья, текущего по деревянному открытому желобу, почти окаменевшему от минеральных отложений. Ниже него (метрах в двадцати) выложен камнем бассейн для купания, который накрыт камышовой крышей.

Понятное дело, что в таком состоянии он находиться долго не мог. Во-первых, не защищенный от атмосферных осадков он все-таки ветшал. Ну а во-вторых, постепенное увеличение российского присутствия на Кавминводах и их обустройство  требовало усовершенствования ванн и питьевых источников. Поэтому в 1836 г.  командующий войсками Кавказской линии и начальник Кавказской области генерал-лейтенант Алексей Александрович Вельяминов  выдал предписание на составление проекта и сметы на устройство новой купальни. Работами занимался архитектор Джузеппе Бернадацци. К сезону 1837 года ванны были построены. Это было уже именно здание на каменном фундаменте с устроенным внутри бассейном, на строительство, которого было израсходовано чуть больше 180 рублей. Использовалась вода источников №1 и №2, предварительно охлажденная в небольшом резервуаре, из которого вода поступала еще и в ванны №1 и №2, расположенные ниже, на Конторской площадке. Ванны были отданы для лечения нижних военных чинов и потому в простонародье стали называться Солдатскими.

Известно, что турлучные здания недолговечны. И уже спустя 10 лет (в 1847 г.) ванны реконструируют. По распоряжению тогдашнего управляющего Водами Д. А. Всеволожского, недавно прибывший на КМВ архитектор С. И. Уптон, на том же фундаменте выстроил уже кирпичное здание, крытое железной крышей.

Следующая реконструкция была сделана только в 1864 г. Весной по распоряжению доктора С. А. Смирнова (тогда директора КМВ) был сделан новый пол и переложен бассейн. Исходя из не очень удобного положения ванн (возвышение, на котором находилось здание, продувалось ветрами и после принятия процедур больной мог легко простудиться) в 1866 г. рядом был выстроен барак дощатый барак,  рассчитанный на 25 человек. В этом здании лечились солдаты из Пятигорского госпиталя нижних чинов, для которых позднее в 1884 г. было построено отдельное здание.

Сохранилась статистика принятия процедур – в 1866 году в Солдатских ваннах было отпущено 506 ванн, в 1867 – 356.

Самое серьезное переустройство Солдатских ванн было проведено в 1877 году. Новое здание с четырьмя узкими деревянными ваннами (в следующем 1878 году были заменены  на более совершенные цинковые) было построено бывшим арендатором Кавминвод (контрагентом)  А. М. Байковым по рекомендациям известного французского гидротехника Жан-Жюля Франсуа де Невшато. Горячая минеральная вода поступала уже по железным трубам из западной штольни источника №1 прямо в ванны и в четыре емкости, расположенные позади здания. Емкости были предназначены для охлаждения. Процесс был не быстрым – за полтора суток вода охлаждалась  с 42 до 20°С.  Стоимость этого переустройства составила 2500  рублей.

Просуществовали Солдатские ванны до 1901 г., когда чуть ниже перед ними на Конторской площадке началось строительство Ново-Казенной гостиницы. Сейчас на месте Солдатских ванн находится поляна с очень запоминающимся деревом. Добраться до этой поляны можно, если возле памятника Лермонтову подняться по ступенькам, и далее держась немного правой стороны через 150 метров увидите долгожданную поляну.