大军回京后，程咬金被免官，但不久再次被任命为岐州刺史。此后程咬金上表请求致仕，唐高宗李治批准。此后戎马一生的程咬金渡过了一段难得的闲暇时光，直到665年2月7日程咬金于长安怀德里的宅邸中病死，时年77岁，此时唐朝的皇帝还是李治。此后朝廷追封他为骠骑大将军、益州大都督，并陪葬于李世民的昭陵旁边。

在小说、影视剧中程咬金娶了裴元庆的姐姐裴氏，但在真实的历史中程咬金一生中先后有两位正妻，前妻孙氏628年病死，时年31岁;继妻崔氏，出身百年名门清河崔氏，于659年病死，时年67岁。

文学作品中程咬金有两个儿子，程铁牛、程万牛。但在历史中程咬金共有嫡子3人，庶子3人(文献中有名字的)。长子名叫程处默，后来承袭了父亲卢国公的爵位。次子程处亮(有的文献也叫程怀亮)于633年迎娶了时年10岁唐太宗的第11个女儿清河公主李敬(早婚在古代很正常)，两人年纪应该相当。程处亮成为驸马都尉，被封为东阿县公，先后担任左卫中郎将、宁远将军等职。此外程咬金还有一个少子，名叫程处弼，庶子有程处寸、程处立、程俊等人，留下的资料很少。