Картина в первый раз была выставлена в 1858 году в Царской академии художеств в Лондоне и была высоко оценена. Многие зрители представили, что изображенный человек дремлет, измученный за денек томного, но добросовестного труда. Уоллис не делал заявлений относительно того, что изображенный мужик мертв, но картина содержит огромное количество намеков на это: рама картины была подписана парафразом из «Погребальной песни» Теннисона — «Теперь твой длинный тяжелый денек окончен» («Now is thy long day’s work done»); приглушенные цвета и заходящее солнце делают чувство конечности, конца; поза мужчины показывает на то, что его инструмент выпал из рук во время работы, а не был отложен на время отдыха; тело рабочего так покойно, что на его правую ногу взобрался горностай, приметный только при внимательном исследовании картины. Описание картины в каталоге выставки сопровождалось длинноватой цитатой из романа «Sartor Resartus» Томаса Карлейля, в какой превозносятся добродетели рабочего и оплакивается то, что «твоему телу, как и твоей душе, не судьба было знать свободы».
Предполагается, что Уоллис писал «Дробильщика» как комментарий к Поправке к закону о бедных 1834 года (Poor Law Amendment Act 1834), которая утвердила систему работных домов для бедняков, также выступила против других форм помощи неимущим. Работоспобные бедняки были принуждены к многочасовому физическому труду в обмен на кров и еду, предоставляемые работным домом, и эта томная работа время от времени убивала рабочих. В сопроводительном тексте из Карлейля были слова и для приверженцев работных домов:
«Может быть даже в более густо населенной стране каких-нибудь 3-х дней раз в год было бы довольно, чтоб перестрелять всех здоровых нищих, которые накопятся за год. Пусть правительства пошевелят мозгами об этом»
Позже утверждалось, что этой картиной Уоллис отдалился от принципов прерафаэлитов в сторону ранешнего викторианского соцреализма. Все же, для современников Уоллиса «Дробильщик камня» утвердил его репутацию настоящего прерафаэлита.
В будущем году Джон Бретт изобразил тот же сюжет.На покойнике насажена рубашка сельскохозяйственного рабочего, которая показывает на то, что в прежние времена он нанимался круглогодичным батраком на ферму. Изменившиеся социальные условия лишили его прежней работы и взамен заставили его к непосильному труду ради подаяния работного дома.
Картина очень контрастирует с одноимённым полотном Джона Бретта, завершенным на последующий год после Уоллиса. На «Дробильщике камня» Бретта изображен другой бедняк, но сейчас это нарядно одетый, здоровый и сытый ребёнок, работающий среди залитой солнцем равнины. Ребёнка аккомпанирует игривый щенок. Детали схвачены с научной достоверностью, а сама картина заслужила похвалу искусствоведа Джона Рёскина. Она тоже гласит нам о бедняках, хотя и лишена безнадежности и чувства конечности, присущих полотну Уоллиса. Все же, её глубочайший реализм содержит сокрытый подтекст, неприметный на 1-ый взор: щеки ребёнка красны не от здоровых упражнений, а от тяжеленной работы; щенок счастливо прыгает, но мальчишка, работая ради подаяния, не может для себя позволить тормознуть и поиграть с ним совместно. Картина Бретта находится в Уокерской галерее искусств в Ливерпуле (Walker Art Gallery).
Хотя мастерство Уоллиса была оценено, но относительно сюжета критики разделились. Газета «Иллюстрейтед Лондон Ньюс» именовала его шокирующим и оскорбительным, в то время, как журнальчик «Spectator» (Spectator) написал, что он воплощает «святость и торжественность, которые обитают в теле человека, пускай униженном, и в погибели, пускай незамеченной».