在1920或30年代的上海,陈绍常(石挥)是一名小学校长,他早年丧妻,独自抚养两个儿子和一个女儿。他的大姐劝他再婚,但绍常因为看到好友的女儿刘敏华(朱嘉琛)遭受后母虐待,放弃了再婚的念头。后来,好友去世后,敏华离开了绍常,并在十年后成为了独立自强的新女性。她拜托绍常帮她找一份工作,并最终在绍常的同事中找到了一份工作。
绍常的儿子建中(韩非)成为银行职员,结识了经理的女儿冯丽君(李浣青),很快他们结婚,并提升了自己的社会地位。建中夫妇认为绍常的职业地位低下丢了他们的脸面,劝他退休在家。绍常虽然不情愿,但还是听从了他们的建议。敏华接替了绍常的工作,但他却变得无所事事。家人要么怪他没有好好享受生活,要么自顾自忙。绍常每天都是无聊的,感觉自己的时间就像坏掉的怀表一样停滞不前。他总是把这些感受告诉家人,但家人要么不理解,要么就是责备他。尽管如此,绍常还是偶尔会想念敏华。