何应钦率部打败了张宗昌的直鲁联军，进驻鲁南，看上了刘黑七人马众多，就想法拉拢刘黑七。刘黑七则看上了蒋介石国民党这块招牌。
于是，刘黑七于一九二八投了何应钦。刘黑七率部在滕县的东部被招了安。何应钦为了表示他抚慰地竭诚，便亲自率众与汤恩伯、顾祝同、谭延凯等显贵人物出席了招安仪式。刘黑七部被编为新四师，刘黑七任师长，下设四个旅，第一旅旅长夏兴德，第二旅旅长刘克仁，第三旅旅长吴良杰，手枪旅旅长蔺兴田。
刘黑七即以“北伐先遣军”的名义，从滕县东部开赴莒县及胶东，沿途夸官亮职。刘黑七由土匪变成了国民党正规军的堂堂师长，人们对刘黑七部的“厌恶”，转成了“羡慕”。刘黑七率部开到莒县，受到当地绅士、商会会长们的欢迎。不长时间，刘黑七就娶了一个恶霸地主的侄女做了小老婆。
一九二九年十月，蒋冯战争期间，刘黑七师奉命在禹县一带击溃冯玉祥的—部，获蒋介石电贺，称其为“铁四师”，并于同年冬调防临汝。但这个家伙却因未能升官发财，对蒋介石不满。
阎锡山获悉，以高官厚禄相许，刘黑七遂于一九三零年中原大战时叛蒋投阎，所部被编为二十六军，任军长并赠金两百万元，轻重武器