加上黄药师给的桃花岛信物，即便他们走到哪里都可以传讯，杨过如此也就放心了。
不过也是因为这信物暴露了黄药师的位置，导致郭黄夫妇找来。
然后又是一出事端，不过最后结果还是很喜人的，隔了不过几日黄药师又给杨过找了个小师妹不说，郭黄夫妇也如愿见到了黄药师。
然而他们宁可没有见到，杨康（康弟）的儿子做了爹爹（岳父）的徒弟，这种感觉便是连老实人郭靖都有些难以接受，更何况是黄蓉呢！
但黄药师可不管杨康是谁，他是个视礼教于无物的人，杨过就是杨过，是他的徒弟，与他人何干！
黄蓉看着任性的爹爹离去，内心五味陈杂。
黄药师下定了决心，那么谁也无法改变，即便这个人是他的女儿。
如此，黄药师带着两个徒儿南下到了临安，走进了叶虞的药材铺子，目的是找些药材，给两个徒儿打磨筋骨。
杨过见到小伙伴自然是想赖着不走，左右都是要在临安定居一段时间，住哪里不是住啊！黄药师对南笙也有些兴趣，叶虞也不推拒，程英的意见忽略不计，三人就在叶虞的药材铺子住下了。
于是黄药师过上了每天“折磨”两个徒弟练功和与南笙小兄弟探讨药理的日常生活。