然，赵氏一直对苏姨娘母女很是照顾，不过府中事务繁杂，她不可能把心思和精力都放在一个妾和一个庶女身上，能做的也不过贴补些衣裳吃食，平日里照料一二，但赵氏在外头立的是贤良之名，府内府外各家都知道赵氏优待妾室庶女，要是华香榭奴大欺主之事宣扬出来，恐怕外头该说赵氏是表面功夫，只是上说说而已，实际里根本不管妾室庶女的死活。
赵氏自己是根本没有立名声的想法，只是当年她初嫁京城时，她娘家，安阳赵家怕她在京城贵眷里站不住脚，因此格外宣扬了一番赵氏的名声，后来苏姨娘被强占一事发生后，赵氏委屈的几天吃不饭，赵家的几个大姨姐收到书信后纷纷赶到京城，来给妹子撑腰，几番训斥了余文轩过后，又给赵氏宣了把名声。
赵氏当年是看在苏姨娘自小陪伴的情分上，再加上苏姨娘本身也是受了罪的，是以未曾苛责，但心里总归有些怨恨余文轩，那件事也是让她死心的开始。
不过苏姨娘是赵家的家奴，再加上当年余家还不曾落没，正是煊赫的时候，作为京城几大家之一，有一点风吹草动都有许多家盯着看，赵家几个姨姐连番进京的事闹的也不太好看，余文轩把正房夫人身边的大丫鬟都要去做妾的事也被当作茶余饭后的谈资笑话了好一阵。