Отпрыск садовника. Предки вожделели, чтоб отпрыск стал священником, но он выбрал профессию художника.
В 1856-1867 гг. учился в Академии изобразительных искусств в Дрездене. В 1863 году получил огромную серебряную медаль Академии.
После окончания академии поселился в Вене, где жил и творил в 1867-1875 (с перерывами на 1872-1873 гг, когда он работал в Антверпене в студии художника Жозефа ван Лериуса.
В 1873 году обучался у доктора венской Академии художеств Ансельма Фейербаха.
После чего Ф. В. Шварц без помощи других работал в Мюнхене, Брюсселе, Брюгге, с 1876 года — в Дрездене.
В 1886 и 1893 году путешествовал по Италии, Северной Африке и Испании, в 1895 году сделал поездку в Далмацию.
Известен своими картинами на историческую тему ("Певцы", "Франческа да Римини"), также витражами и росписями по стеклу для церквей на сакральные темы.
В последние годы жизни писал портреты для американских публичных организаций.
С 1869 года был членом Общества живописцев Вены.