Константин Андреевич Тон родился 26 октября 1794 года в Санкт-Петербурге в семье ювелира. В девять лет Константин вместе с братьями Александром и Андреем был отдан на обучение в Академию художеств. Преподавателями юноши были А. Д. Захаров, А. Н. Воронихин, Ж. Ф. Тома де Томон. Академию художеств Константин Тон закончил с золотой медалью и правом поездки за границу для продолжения обучения. Сразу этим правом он не смог воспользоваться из-за войны и нехватки средств в казне.

После окончания Академии Тон поступил на службу в чертёжную мастерскую при Комитете для приведения в лучшее устройство всех строений и гидравлических работ.

Выехать за границу Константин Тон смог в 1819 году. Он побывал в Германии, Италии и Франции, был избран членом трёх европейских академий, стал опытным реставратором и знатоком античности. В Россию архитектор вернулся в декабре 1828 года. Через два года Константину Тону было присвоено звание академика, тогда же началась его преподавательская деятельность.

Первой работой архитектора в Санкт-Петербурге стала переделка парадных залов здания Академии художеств. Тон не только прекрасно справился с поставленной задачей, но и сэкономил значительную сумму денег. Затем им была построена церковь великомученицы Екатерины в Коломне. По его же проекту были возведены церковь святого Мирония на Обводном канале, Благовещенская церковь на одноимённой (ныне Труда) площади, два храма в Царском Селе. Все эти храмы не дошли до нашего времени.

В 1831 году Константин Тон начал работу над одним из своих главных проектов — храмом Христа Спасителя в Москве. В 1838 году зодчий был назначен главным архитектором на строительстве Большого Кремлёвского дворца. За эту работу архитектор получил орден святого Станислава первой степени, 10 000 рублей премии. В 1844 году Константин Тон получил дворянство.

Одна из немногих сохранившихся работ архитектора — парадная пристань со сфинксами напротив Академии художеств. По проекту Константина Тона были построены первые вокзалы в России, в том числе Николаевский (ныне Московский) в Санкт-Петербурге.

Константину Тону довелось быть ректором Академии художеств. При нём в Академии был основан музей древнерусского искусства, послуживший основой коллекции Русского музея. В период ректорства Константина Андреевича Академия выступала с инициативами по реставрации памятников архитектуры. По проектам Тона реставрировались Московский и Псковский Кремли, Ипатьевский монастырь в Костроме.

В 1850-х годах Константин Тон ограничивается педагогической деятельностью, продолжая руководить только строительством храма Христа Спасителя. В этот период архитектора начинает подводить здоровье, перестают поступать заказы. Заметным событием в конце жизни зодчего стало его избрание почётным членом и корреспондентом Королевского института британских архитекторов. Несмотря на свои заслуги, в старости Константин Тон оказался практически без средств к существованию.

Константин Андреевич Тон умер 25 января 1881 года, был похоронен на Волковском кладбище.