Родился 12 (24) октября 1875 год в Москве, в немецкоязычной швейцарской семье. Отец — служащий страховой компании, позднее — её директор; мама — музыкант-любитель.
С 1892 по 1898 год обучался в МУЖВЗ. Его педагогами были такие мастера, как К. А. Савицкий, А. Е. Архипов, Н. А. Касаткин.
По окончании училища два года работал в мастерской В. А. Серова. Потом основал свою студию, в какой преподавал с 1900 по 1917 вместе с И. О. Дудиным. Его учениками были, а именно, А. В. Куприн, В. А. Фаворский, В. И. Мухина, братья Веснины, В. А. Ватагин, Н. Д. Колли, А. В. Грищенко, М. Г. Ройтер.
В 1903 году Юон стал одним из организаторов Союза российских живописцев. Он также заходил в число участников объединения «Мир искусства».
С 1907 года работал в области театральной декорации.
Вёл художественную студию на Пречистенских рабочих курсах с И. О. Дудиным (один из учеников — Ю. А. Бахрушин.)
В 1925 года Юон стал членом АХРР, хотя все есть основания считать, что он не симпатизировал большевизму. Так, на сделанной в 1921 либо 1922 году картине «Новая планета» живописец изобразил галлактическую катастрофу, которая символизирует Октябрьскую революцию. В другой "галлактической" картине «Люди» (1923 г.) угадываются контуры Соловецкого лагеря особенного предназначения (СЛОН). Большой известностью пользуется и его картина «Купола и ласточки. Успенский собор Троице-Сергиевой лавры» (1921 г.). Это панорамный пейзаж, написанный с колокольни собора ясным летним вечерком, на закате. Под нежным небом благоденствует земля, и на фронтальном плане светятся освещенные солнцем купола с золотыми кружевными крестами. Сам мотив не только лишь очень эффектен, да и очень смел для эры жестокой борьбы новейшей власти с церковью...
Кроме работы в красочном жанре, он интенсивно занялся оформлением театральных постановок («Борис Годунов» в парижском театре Дягилева, «Ревизор» в Художественном театре, «Аракчеевщина» и др.), также художественной графикой.
В 1948 по 1950 годы живописец работал директором Научно-исследовательского института теории и истории изобразительных искусств АХ СССР.
С 1952 по 1955 преподавал в качестве доктора в Столичном художественном институте им. В. И. Сурикова, также в ряде других учебных заведений. С 1957 года был первым секретарем правления СХ СССР.
К. Ф. Юон погиб 11 апреля 1958 года. Похоронен в Москве на Новодевичьем кладбище (участок № 4).
Брат П. Ф. Юона
Ученики и последователи
Иванов, Герасим Петрович (1918—2012) Кручёных, Алексей Елисеевич (1886—1968) Меламуд, Шая Ноевич (1911—1993) Попова, Любовь Сергеевна (1889—1924) Розанова, Ольга Владимировна (1886—1918) Скулме, Отто (1889—1967) Степанова, Варвара Фёдоровна (1894—1958) Страхов, Андрей Александрович (1925-1990) Удальцова, Надежда Андреевна (1886—1961) Фалилеев, Вадим Дмитриевич (1879—1950) Фальк, Роберт Рафаилович (1886—1958) и другие.Заслуги и премии
Зима (работа Юона) Сталинская премия первой степени (1943) — за долголетние выдающиеся заслуги в искусстве орден Ленина орден Трудового Красноватого Знамени (1943) народный живописец СССР (1950) народный живописец РСФСР (1945)На столичном доме, где он жил и работал (улица Земельный вал, 14—16), установлена мемориальная доска.