秦始皇不愧是终结了数百年混乱的雄才大略的第一位皇帝，气魄冲天，大概在他的认知里，普天之下，都应该是他的国土，于是北击匈奴七百里，南征百越之地。统一六国后，为了平息地方楚国地方残余势力，以屠雎为主将，分五路大军南征。数年后，因杀戮过甚，引起百越之地的强烈反抗，屠雎被杀，于是秦始皇另派任嚣为将，赵佗副之，率五十万大军征讨继续征讨，最终平定了百越之地，置南海、桂林、象三郡，这是交州地区首次纳入中央行政，任嚣以南海郡尉的身份，总督三郡，被称为“东南一尉”，并筑番禺城为郡治，赵佗为龙川县令。这是交州地区最早的行政官员，后来为方便对三郡的管理，赵佗上书秦始皇移民五十万充实百越，加强中央的控制力。
秦末大乱，任嚣病亡，赵佗代理南海都尉，封关绝道，不与中原往来，割据岭南，后建立南越国。大汉建立后，南越称臣，成为汉朝第一个藩属国。刘邦死后，吕后秉政，开始限制南越国，并想派大军征讨南越国，因水土不服失利，赵佗于是先发制人，脱离大汉，自称皇帝，并出兵攻打汉朝取得胜利，威服周边越人部落。汉文帝时，赵佗再次被说服，去帝号二度臣服大汉，并加强与大汉的交流。汉武帝时，因内附汉朝之争，南越国发生叛乱，丞相