。
薛怀义酒醒以后，以为这场大火是自己引起的，自缚请罪。武则天念在旧情，赦免了他，但对失踪的玉佛却耿耿于怀。根据副统领鱼朝奉的说法，连衡是监守自盗，趁乱窃走玉佛。于是全国都发下海捕文书，捉拿连衡。
而实际情况，却是河内坂良那趁大火盗走玉佛，一路朝着东方跑去。连衡不及通知同僚，只身追踪而去。最后连衡在扬州附近追及河内坂良那，两人斗智斗勇，都奈何不了对方。在争抢中，玉佛被一摔为二，佛头被河内坂良那夺走，返回日本，佛身却落到了连衡手中。
连衡返回洛阳，惊愕地发现自己竟已成罪人，连同连氏家族也被波及。他手中只有无头玉佛，不敢交还朝廷，又不敢留在身边，只得将其埋在岐山群山之中，在其上面建起一座关帝庙，以纪念佛军守护。而他则改姓为许，隐居在岐山附近，默默地守护着。
对于河内坂良那，许衡一直耿耿于怀，希望有朝一日可以寻回佛头，奉还朝廷，恢复家族名誉。为此，他拼命钻研金石玉石的鉴别之道，逐渐在当地有了名气，娶妻生子，把根扎在了岐山。儿子成年之后，许衡把家业与鉴古手艺传承给他，留下一篇《自叙》给家人，毅然离开岐山。
在《自叙》里，许衡先是把玉佛的来龙去脉