同年年末，桂芝芝诞下一女后，因为坐胎时落下病根，没等到春节就随老掌柜郑文贵而去，大太太本想当时就将这个女婴送人，又怕桂芝芝刚死就这样做会惹人非议，这才勉强把女婴留在郑家，并取名叫郑丽茹。
到了二十年代末，欧美爆发前所未有的经济危机，波及到和西方经济关系紧密的广州、黄埔一带，扎根在黄埔的郑记织造厂眼看就要破产，无奈之下郑家只能举家搬到香港，另谋生计。
到港后因为人丁太多，为了节省开支东山再起，大太太先后遣散了一批跟在身边的家奴员工，这其中就包括她早就看不顺眼的庶出女儿郑丽茹。
当时的郑丽茹只有十五岁，被赶出郑家后身无分文，也亏得她在郑家并不是锦衣玉食，而是从小就做惯了粗活累活，所以才能背靠码头，以给苦力工人们缝洗衣服赚几分钱吃饭，倒也能维持生计，到了夜晚就住在潮湿脏乱的女子通铺，生活不可谓不清苦。
这样的苦日子持续了快一年时间，后来郑丽茹认识了码头上一个叫苏守财的潮州苦力，两个苦命人慢慢走到一起，结婚生子，存够了钱之后共同经营起一家小小的兴隆米铺，生下苏敬贤和苏敬良两兄弟。
此时，听到大哥言之凿凿的话，郑云图这才相信