В одном английском городе живут два хороших друга — один состоятельный банкир, занятый подсчетом и заработком денег — Баундбери. И второй депутат в парламенте Томас Грэйдгранд — человек, совершенно лишенный чувств и полагающийся только на факты и цифры. У него пятеро детей и всех он воспитывает в одной свойственной себе манере. Грэйдгранд настолько уверен в своей методике, что даже организовывает школу, в которой все ученики так же следуют принципам его мировоззрения.
На протяжении всей повести раскрываются характеры детей депутата. И что он получил в итоге — дочь, которая совершенно разочарована в жизни и выходит замуж за друга своего отца банкира, который старше ее на 30 лет. Ей просто все равно что происходит с ее жизнью. Сын Том толкает свою сестру на этот брак, потому что четко усвоил — деньги, цифры, личные выгоды — самое важное; чувства и сострадание ему незнакомы.
Кульминацией рассказа становится то, что Том грабит банк, принадлежащий мужу его сестры. К тому же молодой мужчина подставляет совершенно невиновного человека — бедного портного, который в конечном итоге умирает под презрение и обвинение толпы, в преступлении, которое он не совершал. А сын Грэйдгранда сначала прячется в цирке, а затем вообще спасается бегством в другой город. Он пишет письма своей семье, в которых искренне раскаивается. Отец же, дождавшись отплытия корабля с сыном на борту, везде клеит афиши с именем преступника, чтобы хотя бы посмертно отбелить имя портного с тяжелой судьбой.
В конце «Тяжелых времен» Томас Грэйдгранд признает что его система, по которой он воспитывал своих детей не просто далека от идеала, а совершенно несостоятельна.
