使赵秩赴日本通好，日本怀良亲王遂派遣使者来华，奉表称臣，两国间的邦交得以恢复。现在出了胡惟庸之事，两国立即断绝了邦交。朱元璋又预备对日本用兵，召曹国公李文忠回京师，欲任命其为主帅。李文忠却力阻出征日本，又引元朝征日本失败的教训为鉴，朱元璋这才勉强作罢，心中却始终耿耿于怀，李文忠后来莫名其妙地中毒死去。
除掉胡惟庸后，朱元璋意犹未尽，下定决心趁这个机会将朝政大权尽数收回自己手中。他即刻着手对中央机构进行了改革，废除了中书省及丞相制，分中书省及丞相权力归属六部，相对提高六部职权和地位，由六部尚书直接对皇帝负责；改大都督府为中、左、右、前、后五军都督府，事皆由朝廷总之；兵制上实行卫所制[38]，使武将与兵权分离。这一系列的措施都使皇权得到了大大的加强。
明代兵制
如此，朱元璋废除了有一千多年历史的丞相制度和有七百多年历史的中书、门下、尚书三省制度，将军政大权揽于一身，使得皇权大大加强，达到了秦汉以来的极致。
然朝无重臣，总还是要有人办事，皇帝再精明能干，也只有一双手、一双眼，不可能总揽亲裁所有天下大事，于是朱元璋又创置了“四辅官”，由起自庶民的儒士们担