老爷子找吴小正帮忙的事，跟洪门有很大关系。
1923年10月10日，五洲洪门第三次恳亲大会在美国旧金山举行。
会议决定，改致公堂为中国致公党，并在上海择地兴建“五祖纪念祠”，以纪念洪门五祖的巍巍功勋，并作为联络全球洪门的总机构。
1925年9月，在全球25个总堂140个分堂上万洪门昆仲的踊跃捐助下，五祖祠建成。同年10月10日，中国致公党宣告成立。
在此后的很长一段时间内，坐落在上海市华山路860号的五祖祠，成为了全球洪门聚会议事的总部，也成为了全球洪门成员的“朝圣”之地，对洪门具有非常重要的意义。
七七事变之后，洪门总部决定撤离，并把五祖祠租给了国际红十字会当作难民医院。
1945年8月，日寇投降，洪门又再次回归，五祖祠又回到了洪门手中。
但到了解放后，因为洪门致公党并不属于我国民·主党派之列，也非人民政协组成单位，因此，洪门停止了在大陆的一切活动。
从此，五祖祠作为侨产，开始了漫长的租借过程，先后做过校舍、校办工厂、广播器材厂、上海会计学会办公用地等。