隋大业十三年（公元617年）二月，马邑郡守王仁恭因贪吝被部将刘武周所杀，刘武周随即据汾阳宫起兵，引突厥南下，此事震动河东。

此时任太原留守的李渊正为征讨历山飞贼甄翟儿而驻军雀鼠谷，接到消息后连夜与副留守王威、高君雅商议，三人皆知汾阳宫乃天子行宫，宫人、珍宝失陷罪当灭族，王威、高君雅主张立即驰援，李渊却以“贼势未明，江都路遥”为由按兵不动，暗中却命次子李世民携亲信数十人，扮作商旅北出雁门关，密会突厥始毕可汗帐下心腹史蜀胡悉，以“若许唐公起事，子女玉帛尽归可汗”为约，换取突厥暂不南侵的默许。

三月下旬，李渊返回晋阳，忽接江都敕令，称李渊与王仁恭“不能御寇”欲锁拿问罪，李渊长子李建成当时尚在河东，次子李世民闻讯急赴晋阳令刘文静宅邸，刘文静时任晋阳宫监裴寂座上常客，三人深夜于文静书斋密议，李世民以指蘸茶在案上画出“先发制人”四字，裴寂抚掌称善，但忧虑李渊犹疑。

四月朔日，裴寂设宴晋阳宫水榭，故意让宫人误送天子御用葡萄酒至李渊席前，李渊饮后察觉器皿纹饰有异，惊问出处，裴寂屏退左右方低声告知此乃晋阳宫禁物，李渊色变欲起，裴寂按住其腕道：“宫监用宫物，何罪之有？然若王威知之……”话未说完，忽报突厥游骑已破楼烦郡，距晋阳不过三百里，李渊当即掷杯，命长子李建成速携家眷自河东潜行至晋阳，又令李世民以备边为名招募壮丁，旬日间得兵万余，此事引起王威、高君雅警觉。

五月癸亥夜，晋阳乡长刘世龙密报李渊，称王威、高君雅已定计于次日晋祠祈雨时伏兵擒拿李渊，李渊得报后与李世民、刘文静通宵部署。五月甲子日清晨，李渊佯装不知，与王威、高君雅共坐堂上议事，忽有开阳府司马刘政会持状入告，称有密状言有人勾结突厥，李渊示意王威先阅，刘政会却高声道：“所告乃副留守事，唯唐公得视！”李渊展状览毕，拍案怒视王威、高君雅：“二人竟敢私引胡骑？”话音未落，屏风后长孙顺德、刘弘基率甲士涌出，当堂缚住二人。

恰在此时，突厥数万骑果真兵临晋阳城下，军民皆以为王、高所召，李渊遂命城头旌旗尽偃，城门洞开，突厥疑有埋伏逡巡不敢进，至夜悄然退去，城中士民愈发信服李渊。五月丙寅，李渊建大将军府于晋阳乾阳门，裴寂进献晋阳宫米九百万斛、甲胄四十万领，刘文静则奉上连夜草拟的“北连突厥、西结李轨”方略，李渊遣刘文静修书突厥，书末特意用“启”而非“书”，始毕可汗得书大喜，赠战马两千匹、骑兵五百。

五月戊辰，李建成携四弟李元吉、五弟李智云及家眷抵晋阳，唯幼子李智云途中被隋吏捕获押送长安，李渊闻讯面壁良久，转身时眼中已无犹豫。六月己卯，李渊传檄各郡，斥炀帝“饰非拒谏、巡幸无度”，正式起兵，白幡在西门外连营十里，三军缟素，遥向东南江都方向跪拜，礼毕后幡旗尽染赤色，如烈火燎原，中军大纛上书“匡扶天下”四字，在晋北风中猎猎展开。