京大学文学部英国文学科毕业后考入外务省，是日本除法科毕业者以外，第一个考取外交官的文科出身者。1900年2月，第一次外放实习即被派到中国，担任日本驻厦门领事馆领事官补（相当助理领事）。三个月后发生义和团事件，在厦门的日本西愿寺出张所也被纵火，台湾总督儿玉源太郎立即派兵到厦门港外，以保护日侨为借口，拟登陆占领厦门。
日本政府不许儿玉擅自用兵，命令中止占领厦门，改由厦门领事馆与清廷厦门道台延年谈判，就地解决问题，由厦门道台缉捕纵火者严办，并向日本政府道歉了事。这是芳泽就任外交官后第一次与清廷官员交涉的第一件外交事务。此后，芳泽历任驻上海及牛庄领事、驻英国伦敦大使馆一等书记官、外务省政务局第一课长、人事课长、政务局长、亚洲局长、欧美局长。
1913年底，日本对于地方豪藩李汉的崛起已经十分警惕了，于这一年年底派遣芳泽谦吉前往中国，就任驻汉口总领事。
1917年中方以各种理由，单方面拖欠、日本庚子赔款份额拒绝支付。寺内正毅虽处于政治考虑，没有轻易与中国走向战争，但面对日本国内愤怒的民意，只能选择牺牲了当时的驻华公使林权助，改由对华强硬派的小幡酉吉重任驻华公使。很可惜