Родился 10 июля 1823 года в местечке Гринфилд в семье обладателя чугунолитейного завода.
Детство провел в городке Гудзон.
Обучался в 1842—1844 годах в Брауновский институт. В 1845 году переехал в New-york для исследования искусства. Тут он изучал под управлением английского акварелиста и учителя рисования Джона Смита — рисование, перспективу и анатомию. Также изучал тут тело человека в анатомических классах Мед института и рисование в Государственной академии дизайна.
В 1847 году Гиффорд был довольно опытен в живописи и выставлял свои 1-ые пейзажные работы в Государственной академии, куда был избран адъюнктом в 1851 году и академиком — в 1854 году. После чего Гиффорд полностью предназначил себя пейзажной живописи, став одним из наилучших живописцев школы реки Гудзон.
Как и большая часть живописцев Гудзоновской школы, Гиффорд, много путешествовал, побывав в Новейшей Великобритании в штатах New-york и Нью-Джерси. Потом он посетил Европу, где с 1855 по 1857 годы изучал европейское искусство и делал наброски для собственных будущих картин. Во время этой поездки он повстречался и много путешествовал с Альбертом Бирштадтом и Ворсингтоном Вайтриджем. После возвращения в США Гиффорд посетил Вермонт, где сделал ряд картин.
Потом участвовал в Штатской войне — служил в Армии союза капралом 7-го полка милиции в Нью-Йорке.
Летом 1867 года Гиффорд провел огромную часть собственного времени работая над картинами в Нью-Джерси, а именно, на Санди-Хук и в Лонг-Брэнч.
Последующее свое путешествие совместно Джервисом Макэнти и его супругой, живописец сделал по Европе в 1868 году. В 1869 году, оставив Макэнти, Гиффорд ездил на Ближний Восток, побывав в Египте.
Потом, возвратившись в США, в 1870 году он посетил Скалистые горы в компании с Ворсингтоном Вайтриджем и Джоном Кенсеттом. Возвратившись в свою студию, Гиффорд сделал ряд новых произведений, сделанных по наброскам этого путешествия.
Погиб 29 августа 1880 года в Нью-Йорке от малярийной лихорадки.
В память о художнике Метрополитен-музей провел в Нью-Йорке мемориальную выставку 160 картин художника. Каталог работ Гиффорда был размещен скоро после его погибели и включил выше 700 картин.