在褚时健十岁左右的时候，祖母和祖父相继病故，祖父褚发珍非常能干，在政府里谋得了乡长和团练的职位，从平民成为了一方乡绅，而他的三个儿子都继承了他的勤劳，除此之外，褚时健的父亲褚开运，在从商上比褚发珍更大胆，父亲褚开运在外做木材运输生意，很少在家。
虽然这样做并不好，但确实这个社会上的大多数人，对于曾经服刑过的人是有偏见的，虽然大多数人并不会说出来，但人们也会对他们“敬而远之”，生怕会惹上什么麻烦。不过，也有些人是“例外”，例如褚时健，他在73岁出狱保外就医回到家中，人们在得知这个消息后，纷纷上门探望他。
