李元霸的表叔是隋炀帝杨广，父亲是唐国公李渊，二哥是天可汗唐太宗李世民。是第一好汉。那年李元霸才十四岁，跟着他爹李渊在太原过日子。杨广派了宇文化及来太原传旨，明面上是安抚李渊，暗地里是试探李家有没有造反的心思。宇文化及带了三千铁甲骑兵，浩浩荡荡开进太原城，那排场摆得比皇帝出巡还大。李渊带着全家老小出城迎接，李元霸站在人群里，个子不高，瘦得跟猴似的，穿着一身不太合身的锦袍，谁也没把他当回事。
宇文化及骑在高头大马上，斜着眼扫了一圈，最后目光落在李元霸身上，嗤笑一声：“这就是唐国公家的四公子？听说天生神力，我看这身板连只鸡都拎不动。”周围随从哄堂大笑。李元霸没吭声，拿手指头抠自己袖口的线头，好像压根没听见。他二哥李世民在旁边扯了他一把，低声说别惹事。李元霸点点头，还是没说话。
进了太原府衙，宇文化及往正堂一坐，把圣旨往桌上一拍，开口就说杨广要李渊把太原的兵权交出来，归朝廷统一调度。这话一出口，李渊脸色就变了，可还是压着火气赔笑脸，说兵权交接需要时日，容他慢慢办。宇文化及不干，说三天之内必须交割清楚，不然就是抗旨。说着话他手底下几个副将站起来，手按刀柄，明显是逼宫。
李世民上前打圆场，说将军远道而来辛苦了，先歇歇再说公事。宇文化及一摆手，指着李世民鼻子说你就是那个能打仗的李世民？听说你带兵有两下子，可别跟你爹学，人在屋檐下不得不低头。这话就难听了。李元霸本来蹲在墙角玩石子，这时候站起来，走到宇文化及跟前，仰着头问了一句：“你说完了没有？”
宇文化及低头一看，还是那个瘦猴子，不耐烦地挥手：“滚一边去，大人说话小孩插什么嘴。”他伸手想推李元霸肩膀，手刚伸出去，李元霸一把攥住他手腕。宇文化及只觉得骨头跟被铁钳子夹住似的，疼得额头冒汗，想抽手抽不回来。李元霸说：“你刚才说我拎不动鸡？”手上稍微一使劲，宇文化及膝盖一软，整个人从椅子上滑下来，半跪在地上。三千铁甲骑兵在外头听见动静往里冲，李元霸另一只手拎起旁边那张紫檀木桌子，往堂门口一横，桌子腿插进地砖半尺深，冲进来的骑兵撞在桌子上，人仰马翻倒了一片。
宇文化及疼得直叫：“放手放手，我是钦差！”李元霸说钦差怎么了，钦差就能欺负我爹？他手一松，宇文化及往后一屁股坐地上，捧着胳膊直哆嗦。李元霸蹲下来看着他：“你回去告诉我表叔，太原的兵权是我爹的，我爹不想给，谁来了也拿不走。你要是不服，咱俩再比划比划。”宇文化及哪还敢比划，连滚带爬往外跑，三千铁甲骑兵愣是没一个敢进门。李渊在后面看得直跺脚，说坏了坏了，这下把朝廷得罪死了。李世民反倒笑了，说爹你别急，杨广现在忙着打高句丽，腾不出手来收拾咱们，宇文化及回去肯定不敢如实说，他丢不起这个人。
果然宇文化及回了长安，跟杨广说李渊忠心耿耿，就是家里小儿子不懂事。杨广正为辽东战事头疼，也没心思细究，这事就这么糊弄过去了。可李元霸从此在太原出了名，街坊邻居都知道唐国公家老四不能惹，看着瘦，一伸手就让人跪。李渊后来跟李世民私下说，你这弟弟是个混不吝，但也亏了他这混劲，换别人还真镇不住宇文化及那帮人。李世民说四弟心里有数，该出手的时候不含糊，平时看着傻，比谁都精。李元霸在院里听见了，冲他二哥咧嘴一笑，继续蹲地上玩石子，好像刚才啥事都没发生过。