残檩，徐玉山对乡亲们说：“乡亲们不要难过，今天幸而天气好，没有烧到四邻八舍，老少爷们都跟着受惊吓了。我早就料到会有这一天的，敌人烧掉了我们的房子，烧不掉我们抗战的决心。我们坚决抗战到底，死了不当亡国奴！”
1940年春，穷凶极恶的敌人又一次将徐家路南的30多间房子烧了个干净，恶气还不出，又把徐家的断壁残墙统统推倒。
1940年6月，八路军129师筑先纵队和先遣纵队合编为129师新8旅，七团和先遗纵队的三团合编为新8旅的24团，徐玉山任团长。部队整编后离开鲁西北，开赴冀南地区。
临走时，徐玉山向全家告别。白发苍苍的母亲拉着徐玉山的手说：“孩子，别忘了家啊！咱房子是没有了，可这里总是咱的家啊。等打跑了鬼子就快回来！”
徐玉山说：“娘，你放心，我们一定会回来的。别看鬼子把咱们的房子烧了，等打跑了鬼子，我们盖高楼，让您老人家和乡亲们都住进去。”
他又拉着老二徐玉琛的手说：“兄弟呀，我走了，家里的这么大摊子就扔给你了。你就多费心了，如果我能回来，我一定好好地报答你。如果我回不来，这世咱们是兄弟，下一辈子，咱们还是做兄弟。”