最終 ， 他瞞著發妻 ， 在十二年間偷偷納妾三人 ， 先后生下五個兒子 。 王氏在多年之后才驚覺發現 ， 在痛苦之中 ， 王氏手持著匕首要去殺他 ， 但夫妻兩人最終抱頭痛哭 ， 后來 ， 戚繼光將他的小妾陳氏所生的兒子戚安國 ， 過繼給王氏撫養 ， 才算是了了一宗心事 。

然而 ， 當他回到家后 ， 兒子戚安國也病逝了 。 王氏萬念俱灰、離家出走 ， 這使得他的晚年 ， 愈發孤獨和落寞 。

他被罷官后 ， 北方的蒙古人仍然不時入侵 ， 東北的女真人正在崛起 ， 但大明帝國卻仍然醉生夢死 。

他太孤獨了 ， 閑來 ， 他經常登上山東海邊的蓬萊閣 ， 靜靜眺望著大海發呆；有時候 ， 他就跟兒子們講講自己熱血抗擊倭寇、征戰蒙古、護衛邊疆的往事 。