李吉甫年轻时勤奋好学，善写文章，以门荫补任左司御率府仓曹参军，二十七岁便担任太常博士。

他学识渊博，尤精国朝典故，历任屯田员外郎、驾部员外郎，受到宰相李泌、窦参的器重。贞元八年，李吉甫被外放为明州长史，后起复为忠州刺史，历任柳州刺史、饶州刺史。

贞元二十一年唐宪宗继位，征召李吉甫回朝，授为考功郎中、知制诰。他返回朝廷后，又被召入翰林院，担任翰林学士，并改任中书舍人，获赐紫衣。

元和元年西川节度副使刘辟叛乱，朝臣都认为蜀地险要，易守难攻，不主张出兵讨伐，宰相杜黄裳却极力主战，还推荐神策军使高崇文为伐蜀主帅，李吉甫也赞同出兵。

唐宪宗便命高崇文与山南西道节度使严砺入川平叛，高崇文久攻不破鹿头关，李吉甫奏道汉晋南朝五次伐蜀，四次都是沿江而上。江淮地区的宣州、洪州、蕲州、鄂州，强弓劲弩，号称天下精兵。

陛下可让江淮军直捣三峡腹心，叛军必会分散兵力，前去救援，而且高崇文担心江淮军率先建功，也会增强斗志。

西川平定后，李吉甫又建议让高崇文、严砺分别节度西川、东川，使两川相互制衡。

元和二年杜黄裳罢相，李吉甫则被任命为中书侍郎、同中书门下平章事。他外放江淮十余年，深知百姓疾苦，拜相之后鉴于藩镇节度使贪婪恣肆，便奏请皇帝。

让节度使属下各郡刺史独自为政，李吉甫还建议，应禁止州刺史擅自谒见本道节度使，禁止节度使以岁末巡检为名向管内州县苛敛赋役。唐宪宗对他愈加倚重。

镇海节度使李锜骄横不法，李吉甫认为他定会反叛，便劝宪宗召他回朝，加以控制，面对朝廷三次征召，李锜都称病不应，还以重金贿赂朝中权贵。

十月，李锜攻掠州县，发动叛乱。李吉甫道李锜不过是个庸材，网罗的都是些亡命群盗，哪有什么斗志，如果朝廷征伐，定可成功。

征调素为江南藩镇所畏惧的徐州军和汴州军参与平叛，以震慑叛军。叛军听闻徐州、汴州兴师南下，果然斩杀李锜，向朝廷投降，李吉甫因功获封赞皇县侯。

唐朝自德宗年间以来，对藩镇一直采取姑息的态度，很多节度使都是终身任职，拥兵自重，形成尾大不掉的态势。

李吉甫针对这一弊病，加以改革，他在拜相后的一年多时间内，共调换了三十六个藩镇的节帅，使得节度使难以长期有效地控制某个藩镇。

元和三年右仆射裴均交结权幸，欲求取宰相之职，当时朝廷正举行直言极谏科制举考试，有举子在考卷中抨击朝政，唐宪宗非常不满。

裴均便指使党羽，称此事背后有宰相教唆，希望借此让李吉甫罢相，谏官李约、独孤郁、李正辞、萧俛等人上疏陈述原委，竭力为李吉甫辩白，唐宪宗这才怒气稍解。

李吉甫原本与窦群、羊士谔、吕温交好，窦群担任为御史中丞后，举荐羊士谔为侍御史、吕温为知杂事。

李吉甫却恼怒他事先没有向自己禀报，不肯批准，引起窦群等人的怨恨，后来，李吉甫患病，让医士留宿在家中。