李玄霸在李逍遥的命令下，心不甘情不愿的跟随着秦王李世民前去讨伐南阳王朱粲、曹州宋义王孟海公。由于南阳王兵力较少，战斗力不强，秦王李世民决定先讨伐朱粲，逐个击破，然后再攻打孟海公。朱粲起初担任城父县的佐吏，大业十一年十二月，朱粲随军征讨长白山的起义军时，逃亡聚众作乱，号称“可达寒贼”，朱粲自称迦楼罗王，拥有部众十万多人。朱粲率兵在荆州、沔阳转战抢掠，一直到终南山南部一带的郡县，由于他臭名昭著，只要百姓闻声就立即避开，因此朱粲的大军所经之处即无人烟。
武德元年五月，朱粲在冠军县与唐朝山南招慰使马元规交战，朱粲军队大败；七月初二，朱粲与唐朝宣州刺史周超交战，再度兵败。同年十月，邓州刺史吕子臧和马元规攻打朱粲，并将朱粲击败。南阳王朱粲面对大军屡战屡败，无一胜绩，因此秦王李世民才决定攻打他，李玄霸闻之不屑一顾，根本就不准备出手，李世民也知道李玄霸不听从自己的号令，也就随他了。
邓州刺史吕子臧知道朱粲的大军人数虽多，兵力不强，就向马元规建议道：“朱粲刚打败仗，其部众上下都很胆怯，我请求与您合兵进攻他，可以一举消灭他。如果再拖延下去，朱粲的部队逐渐收拢，力量增加而粮食吃光，会与我们拼死，那必将成为大患。”
马元规刚愎自用，根本就没有听从吕子臧的意见，甚至于吕子臧主动请缨出战，只要求他自己率领大军去攻打朱粲，马元规仍然没有答应。他之所以迟迟不愿意答应，就是担心吕子臧抢夺自己的功劳。若非马元规犹豫不决，不一鼓作气将他消灭，反而给了朱粲喘息的机会。
不久之后，朱粲趁此机会，将残余的部队收聚在一起，东山再起，重振军势。并且，朱粲在冠军县自称楚帝，改年号为昌达，率军攻陷邓州城。马元规因为担心自己的利益，没有一鼓作气的剿灭朱粲，给了他机会。然而，朱粲却是残暴不仁之人，他率领大军攻打南阳，将南阳团团围住。
马元规弃军而逃回长安，反而污蔑吕子臧贪功冒进，折损大军。吕子臧为了洗脱罪名，迫于无奈只能独自率部与朱粲军交战，最后吕子臧战死，南阳城陷落，被朱粲占领。唐高祖李渊知道马元规贪生怕死，直接将他推出午门斩首示众。
十月二十五日，朱粲侵犯淅州，唐高祖见朝中已无大将，就派太常卿郑元璹率领一万步兵、骑兵攻打朱粲；十二月十一日，郑元璹不负重托在商州打败朱粲。公元619年正月，当时朱粲拥有部众二十万，在汉水、淮河之间剽掠，根本就没有为民请命的想法，而是聚众享乐，百姓敢怒不敢言。
朱粲的部众迁徙没有任何规律，每次攻破一个州县，还没有吃尽该州县积聚的粮食，就再次转移。即将离开州县时，就把州县其余的物资全部焚毁，不给当地百姓一口粮食；而且还不注重农业，因此发生大饥荒，饿死的百姓尸骨堆积如山，最后还出现了人吃人的情况。
没想到朱粲不仅不考虑饥荒的问题，百姓颗粒无收，大军也没有东西可以掠夺，军中严重缺乏食物，朱粲带头率领着大军烧煮妇女、小孩来吃，并且还对其部下洋洋得意地说道：“没有比人肉更好吃的食物，只要其他的城镇里有人，何必为挨饿发愁呢！”
当时隋朝的著作佐郎陆从典、颜之推之子通事舍人颜愍楚，都因为贬官而住在南阳。朱粲起初都将他们请来做自己的宾客，后来饥荒之事，朱粲缺乏食物，就将他们二人全家都吃掉。朱粲还征收各城堡的妇女、小孩供给军队作为军粮，使得各城堡相继背叛他。
当时，显州当地的豪强杨士林、田瓒起兵攻打朱粲，各州县都纷纷响应。朱粲在淮源与他们交战，结果朱粲大败，率领数千名残兵逃奔菊潭。同年闰二月，朱粲喜好吃人使得他成为人人喊打的对象，犹如过街老鼠一样，无奈之下，朱粲派遣使者到唐朝请求投降，唐高祖李渊不计前嫌，下诏封朱粲为楚王，听凭朱粲自己设置官属，以方便行事。
四月，唐高祖派遣散骑常侍段确到菊潭慰劳朱粲。段确生性喜欢喝酒，他也知道朱粲喜好吃人肉，就借着醉酒轻描淡写地问道：“听说你爱吃人肉，人肉是什么滋味？”
朱粲闻之，兴致勃勃地笑道：“吃醉鬼的肉就像吃酒糟猪肉。”
段确闻之瞥了一眼朱粲，见他目露凶光，兴奋不已，怒气冲冲地大骂道：“狂贼，你入朝后不过是个奴仆头目而已，还能吃人肉吗？简直妄想，痴人说梦！”
朱粲怒吼一声，直接站立起来，单手拎着段确的衣领，然后命令士兵将他的几十名随从全部抓住，他平生还未受到有人敢如此的羞辱于他，他觉得李渊根本就没有将自己当成臣下看待，心中更加气愤。愤怒之下，朱粲命人直接将柴火以及大锅准备好，当场就把他们全部下锅，煮熟之后分给身边的人吃，随后朱粲屠杀菊潭城中的百姓，前往洛阳投奔王世充，王世充任命他为龙骧大将军，依然镇守南阳城。
郑王王世充被李逍遥率领大军击败，根本就没有时间顾忌到朱粲，直接越过他进攻宇文化及，使得他逃过一劫。没想到朱粲不思进取，妄想攻占洛阳城，使得秦王李世民亲自率领大军前来讨伐，也是为了博取唐高祖李渊的欢心。毕竟，朱粲曾经归顺于李唐，最后再次反叛，又喜欢吃人肉，此贼不除，何以服众，又如何能收取民心。
李玄霸听闻南阳王的恶名，不屑与他动手，秦王李世民只能自己领兵攻打，在唐军的强烈攻击下，朱粲的大军很快就败下阵来，溃不成军。他被秦王李世民活捉，李世民想都没有想，直接拉出去处斩了。由于朱粲吃人恶名远扬，百姓们都非常痛恨他，因而争相用瓦石投击他的尸身，片刻之间瓦石堆积如坟。