外，蒙古高原周边的一些较早归附的部族，也属于色目人，如汪古部等。
汉人为第三等，指淮河以北原金国境内的汉、契丹、女真等族以及较晚被蒙古征服的、四川、云南（大理）人，东北的高丽人也是汉人。
南人为第四等，指最后被蒙古征服的原南宋境内各族（淮河以南不含四川地区的人）。
这种划分中，比如规定汉人不许结社、集会、集体拜神，禁止汉人私藏兵器（例如数家才可共用一把菜刀），蒙古人被汉人打死需要偿命，而蒙古人因争或乘醉打死汉人只需“断罚出征，并全征烧埋银”。汉人如当兵则不许充宿卫，如当官也往往只能做副贰。
成吉思汗曾规定，杀蒙古人的偿命，杀色目人的罚黄金四十巴里失（一巴里失大概折合二两银币），而杀死一个汉人，只要缴一头毛驴的价钱就可以了。遇到征伐战争，差别待遇较平时更甚。
1286年，为了进攻安南，征用全国马匹，色目人三匹马中只征两匹；而汉人的马，无论多少，全部征收。以后不断征马，每次如此，汉人的马就成为珍品。蒙古政府有严厉规定：禁止汉人打猎，禁止汉人学习拳击武术，禁止汉人持有兵器，禁止汉人集会拜神，禁止汉人赶集赶场作买卖，禁止汉人夜间走路。