撕破脸皮正式扯旗造反后的李渊一家运气好得十分惊人，李渊叛军的主力还没来得及南下的时候，大兴隋军向北进攻，整个七月都是阴雨连绵，不利攻坚，导致六万隋军局促在贾胡堡这座小小要塞之外，寸步难进，还白白消耗了无数体力粮草；到了大兴隋军兵败退守霍邑、李渊叛军兵临城下的时候，隋军还没来得及把久疏战事的霍邑城防建立完善，八月初一这天，雨水就突然停止，天气放晴，还一连就是好几天的晴空万里。<
碰上了这样可遇不可求的好事，李渊当然不可能辜负上天对他的垂青，八月初二这天命令全军暴晒武器盔甲、衣服装备，八月初三这天就立即着手布置攻城，又采纳李二的诱敌计，派李建成和李二兄弟率领数百骑兵担任先锋，自领步兵主力随后而行，然后李建成和李二兄弟到得了霍邑城下之后，少不得用各种粗鄙语言问候庞玉、霍世举等隋军大将的十八代祖先，期间李二自然少不得提起庞玉当年被杨玄感俘虏的丢脸事，要庞玉赶快去请陈丧良再来救他。
性格急噪的庞玉果然中计，被激怒后一咬牙亲率三万隋军从东门北门出城迎战，出城期间，李渊率领的叛军步兵大队也赶到战场，两军对阵于野，庞玉将军队一分为二，分别在城东、城北两地列阵，互为掎角之势，李渊也将军队一分为二，亲自率军与庞玉对阵于北门，令李二和段志玄率军迎战东门隋军。
立阵刚定，此前在雀鼠谷吃了大亏的庞玉压不住心中火气，首先发起进攻，李渊诈败退却，引诱庞玉军放弃坚阵发起追击，庞玉再度中计，追击间阵脚松动，后方露出破绽，立阵于城东的李二和段志玄乘机率领骑兵发起冲击，猛冲庞玉背后，李渊也乘机掉头杀来，激战间，武艺超群的李二手刃数十敌人，双刀都砍出了缺口，勇不可挡，彻底挫动隋军心胆。那边李渊见战场已陷入混乱，遂命令全军高喊口号，声称自军已经生擒到了庞玉。
很简单的攻心计，尽管庞玉的帅旗未倒，仍然还在战场上高高飘扬，但是士气不振的大兴隋军却偏偏中了计，相信主帅被擒的恐慌之下，许多隋军将士溃散而走，影响同伴斗志，滚雪球一般造成大量士兵陷入慌乱状态，士气如虹的李渊叛军乘机狂冲猛打，隋军大败而逃，庞玉努力约束无效，又见大批叛军向自己冲来，胆怯之下赶紧拍马而走，带着亲兵逃向北门，李渊父子全力追杀，说什么都不肯错过这个破敌机会。
数量庞大的隋军败兵给叛军打了免费前锋，压住了吊桥无法升起，堵住了城门无法关闭，久疏战事的霍邑城又不象虎牢关那样，在城门上方悬挂有夜叉擂可以在关键时刻阻挡人流，霍世举在城上大吼大叫命令赶紧关门，城门兵却死活挡不住如潮人流，推搡之下，隋军城门官还无比倒霉的被人潮冲倒，被自家败兵活生生踩死，门兵胆怯下更不敢阻拦，后面的李渊叛军乘机尾随而上，先是砍断吊桥绞索，接着跟随隋军败兵人流冲入城内，夺占了城门要地。
再无任何悬念，隋军主将庞玉虽然也侥幸逃进了城内，但士气低落的隋军将士却根本挡不住李渊叛军的前进脚步，拣到了天降大馅饼的叛军上下人人争先，个个奋勇，杀得仓促迎战的城内隋军无法招架，霍世举几次组织军队巷战拦截，试图夺回城门，也都被势不可挡的叛军几下子打溃，最后随着攻入城内的叛军士兵越来越多，在城内占据的区域越来越大，庞玉与霍世举也没了办法，只能是匆匆领了残兵败将弃城而逃，叛军乘机夺占霍邑，同时分兵追杀隋军败兵，拼命削弱隋军的作战力量，不过庞玉和霍世举喘息机会。