在褚时健十岁左右的时候,祖母和祖父相继病故,祖父褚发珍非常能干,在政府里谋得了乡长和团练的职位,从平民成为了一方乡绅,而他的三个儿子都继承了他的勤劳,除此之外,褚时健的父亲褚开运,在从商上比褚发珍更大胆,父亲褚开运在外做木材运输生意,很少在家。
虽然这样做并不好,但确实这个社会上的大多数人,对于曾经服刑过的人是有偏见的,虽然大多数人并不会说出来,但人们也会对他们“敬而远之”,生怕会惹上什么麻烦。不过,也有些人是“例外”,例如褚时健,他在73岁出狱保外就医回到家中,人们在得知这个消息后,纷纷上门探望他。