毛人凤家族的来源可以追溯到浙江省衢州府江山县。1898年，毛人凤在这里出生于一户落魄的士绅家庭。他的父母希望通过教育改变家庭的状况，因此在他6岁时就把他送进私塾读书。然而，由于兄弟姐妹众多，毛人凤的身材瘦小，性格变得偏激而阴郁，并产生了较高的权利欲。

毛人凤后来成为了戴笠的副手，在戴笠死后，他挤掉郑介民，成为了保密局的一把手。他的儿子们也都事业有成：长子毛渝南担任过富士康董事长；次子毛佛南是身家亿万的期货奇才；幼子毛书男则是知名的爱国华侨。