讲了一遍，然后表示自己的时日无多，希望能在临死前去日本，毫无顾忌地放手一搏，才算对得起自己当年的誓言。许衡还表示，如果他没有回到中土，说明佛头的任务失败了，那么这个使命，将由许家子孙一代代传下去，直到玉佛身首归为一为止。
据说后来他化装成僧人，混入鉴真大师的队伍，从此再无任何消息。究竟他是在海难中身亡，还是在日本被杀，就没人知道了。
但许家没有遗忘家族祖先的遗训，将祖先交托的使命一代一代传了下去。笔记里列了一个很详细的家谱清单，上面的记录显示，许家从没有忘记过这个遗训，一直把佛身保护得很好，再窘迫的时候，也没人会提出卖掉它。
几百年下来，许家的金石鉴定之术已成为权威，更逐渐吸引了一批志同道合者，形成了五脉鉴古的雏形。而先祖许衡的嘱托，历代许家子孙也未敢遗忘，每一代总有人会前往岐山，守护玉佛身。笔记关于这一部分的记录，零散而琐碎，都是在记叙哪一代什么人做的关于玉佛的什么事。
到了明代万历年间，才重新出现了大段记录。当时许家有一名子弟叫许信，参加了大明援朝抗倭战争。许信在前线杀敌之时，无意中发现一个姓木户明雄的倭寇头目，居然想乔装潜入内陆，形迹可疑。