Родился в многодетной еврейской семье в Кишинёве, где обучался в коммерческом училище. Сначала 1900-х годов семья переехала в Москву, где Адольф Мильман поступил в Столичное училище живописи, ваяния и зодчества. С 1904 года занимался в студии-мастерской Ильи Машкова, с которым скоро сдружился. В студии сблизился также с Р. Р. Фальком.
С 1911 года — участник ревизионной комиссии объединения «Бубновый валет». Выставлялся на групповых экспозициях объединения в 1912—1914 годах. В октябре 1917 года покинул объединение и вкупе с Р. Фальком, А. Лентуловым, В. Рождественским и другими присоединился к «Миру искусства».
В 1912—1917 годах преподавал в личной студии живописи и рисунка Ильи Машкова. Захворал туберкулёзом и с 1914 года раз в год ездил на исцеление в посёлок Отузы в Крыму. В 1918 году учавствует в организации Отдела изобразительных искусств при Наркомпросе. В том же году Адольф Мильман переезжает в Киев, где посреди его учеников были П. Челищев и С. Юткевич. Потом до 1920 года жил в городке Судак (Крым). В это время захворал «летаргическим энцефалитом» (может быть энцефалит фон Экономо). Единственная индивидуальная выставка прошла в 1920 году в Феодосии.
Тройной портрет Адольфа Мильмана работы И. И. Машкова (1916)С 1921 года жил в Париже, где ещё выставлялся в протяжении следующих пары лет (до 1924 года), но с 1922 года больше не отрисовывал. В 1920—1922 годах учеником А. Мильмана был канадский живописец Эдвин Холгейт. Последние 8 лет жизни был прикован к постели, утратив дар речи. Похоронен на кладбище Монпарнас.
