两位妻子，另外还有一名侍妾李氏。大张氏生有三子：郭大舍、郭天叙、郭天爵，小张氏生有一女，李氏则生有幼子郭老舍。其中长子郭大舍已在郭子兴起兵时被元军杀死，但次子郭天叙和第三子郭天爵都正当盛年，对朱元璋暗中扩张实力很是不满。
郭子兴死后，矛盾立即爆发。然因为朱元璋在军中威望甚高，又得到了小张氏的鼎力支持，由此顺利取得了郭子兴部的控制权。但郭天叙仍然被小明王[3]封为都元帅，是郭部名义上的最高首领。
不久，郭天叙率军出战，遭叛徒出卖，遇元军袭击战死。亦有人说是朱元璋有意将郭天叙的行踪透露给了敌军，好借刀杀人。
次年，郭天爵因谋反罪名被诛杀，朱元璋最终完全掌控了郭部。为了报答小张氏对自己的支持，又将其爱女纳为侍妾，即为后来的郭惠妃。
朱元璋与郭天叙、郭天爵兄弟争权夺利最烈之时，郭子兴侍妾李氏携幼子郭老舍远走高飞，因为郭老舍年纪还小，朱元璋也未放在心上。
洪武三年（1370年），已经贵为皇帝的朱元璋终于在妻子马皇后的劝说下，追封岳父郭子兴为滁阳王，并下诏命当地有关部门为之建庙祭祀，又免除郭氏邻居宥氏的赋税徭役，让宥氏世代为滁阳王守墓。