从头干起，先任宪兵营营长，不久，张作霖在日本人支持下排挤吉林督军孟恩远，导致吉林军旅长高士傧（原吉林督军孟恩远外甥）联合胡匪卢永贵，要和张作霖作战，当时张作霖的军队大多刚刚组建，训练尚在进行，装备尚未运抵，属于无大兵可派的情况，便决定派张宗昌率宪兵营去应战，这本來是一场势力悬殊的较量，但由于卢永贵手下的大小头目，很多都是和张宗昌当年一起闯关东的同乡，凭着这种关系，张宗昌兵不血刃，即把胡匪收编成三个团，张作霖很高兴，任命他为吉林省防军第三旅旅长兼吉林省绥宁镇守使，这样，张宗昌有了一块立足之地，不多久，张宗昌已有近万人马。
由于人多枪多，张宗昌的军费开支庞大，虽然张作霖不断从奉天拨款资助，也是入不敷出，无奈，张宗昌便在自己辖区内让士兵种植鸦片，弥补不足，这事引起奉军各部不满，要求张作霖遣散这支队伍，1917年春，张作霖趁陆军各部演习，派出校阅委员杨宇霆到张宗昌第三旅，名为校阅，实则遣散，一次视察张宗昌的部队，两下一碰，话说岔了，杨宇霆张口便骂，操娘声不绝于口，谁知张宗昌接口道：“你操俺娘，你就是俺爹了。”随即给杨宇霆跪了下來，害得比张宗昌年轻三岁的杨宇霆红了脸，整肃也就不了了