17年）末年，李靖任马邑（治今山西朔县东）郡丞，在李渊帐下和突厥作战，所以他算是李渊的老下属了，但那是李靖锋芒不显，未能得到李渊重用。
隋末，身为隋朝太原留守的李渊暗中招兵买马，伺机而动。李靖察觉了他的这一动机，于是伪装成囚徒，前往江都，准备向隋炀帝告密。但当到了京城长安时，关中已经大乱，因道路阻塞而未能成行。不久，李渊于太原起兵，并迅速攻占了长安，俘获了李靖。
李靖满腹经纶，壮志未酬，在临刑将要被斩时，大声疾呼：“明公兴起义兵，本是为天下除去暴乱，怎么没有完成大事，而以私人恩怨斩杀壮士呢？”李渊欣赏他的言谈举动，李渊之子李世民赞赏他的才识和胆气，因而获释。此时晋阳城里的内应，传来谢天虎派人四处寻找李靖，并准备委以重任的消息，李渊更是把李靖当宝一样看，任命他为三军长史，每每以军国大事问之。
李靖的军事观点是，北面的谢天虎大势已成，唐军短时间内难以夺回河东河北之地；洛阳的王世充兵精粮足，也不易讨伐；不若先取武威的李轨，金城的薛举，稳固关中地区，然后攻巴蜀夺得粮仓，到时候再看形势的变化来判断是反攻河东，东伐洛阳，又或是平定荆襄。
李渊也是个明