窦群却抓捕医士，上书弹劾李吉甫，称他结交术士，唐宪宗查知实情，贬逐窦群等人，李吉甫知道自己树敌过多，便请辞相位，并推荐裴垍接任。

同年九月，李吉甫出镇淮南，授检校兵部尚书、中书侍郎、同平章事、淮南节度使。唐宪宗亲自在通化门为他饯行。

李吉甫在淮南三年，常上书议政，指陈朝政得失，论列军国利害。他率领民众修筑富人塘、固本塘、平津堰等水利工程，灌溉农田近万顷，还奏请朝廷，免去当地百姓数百万石欠租。

元和六年裴垍因病罢相。宪宗遂将李吉甫从淮南召回，再次任命他为中书侍郎、同平章事，加授金紫光禄大夫、集贤殿大学士、监修国史、上柱国，进爵赵国公。

他建议裁汰冗杂官吏，减低百官俸禄，以节省国家财政开支，唐宪宗采纳了他的建议，最终裁减内外冗官八百余人、冗吏一千七百余人。

当时，宗室诸王居住在十六宅中，连女儿的婚姻都要由宦官掌管，诸王只能厚礼贿赂宦官，以求得到嫁女的目的。

李吉甫奏知皇帝，唐宪宗遂封诸王之女为县主，命有司挑选门阀子弟加以婚配。

元和七年魏博节度使田季安病逝，其子田怀谏继任。李吉甫劝唐宪宗出兵征讨，并推荐薛平为义成节度使，欲趁机收复魏博镇。

但唐宪宗因宰相李绛极力反对，最终没有采纳，李绛刚正不阿，唐宪宗为制衡李吉甫，特意擢其为相。

二人常在御前争论，唐宪宗认为李绛耿直，常听从他的主张，后来，李吉甫又绘制《河北险要图》，呈献给唐宪宗。

宪宗将地图挂在浴堂门壁上，每逢议论河北局势，都对李吉甫大加赞扬。

元和八年回鹘越过大漠，南攻吐蕃。朝廷得报，却认为回鹘表面声称讨伐吐蕃，真实意图是要入侵唐境。

李吉甫道回鹘并未与朝廷断绝和好关系，南下目的不大可能是侵扰边境，我们只要加强戒备，则不足为虑。

他建议恢复自夏州至天德军之间的十一所驿站，以便传递边境军情，又征调夏州精骑五百人驻屯经略故城，以接应驿使，同时护卫党项部落。

李吉甫又建议朝廷复置宥州，以防御回鹘，安抚党项，唐宪宗遂在经略故城重新设置宥州，隶属于绥银道，并征调鄜城九千神策军前往驻守。

李吉甫又征调江淮地区的三十万件兵器与千余匹战马，补充给太原、泽潞两军，以加强唐朝北部边防。

元和九年淮西节度使吴少阳病逝，其子吴元济请求袭任，李吉甫认为淮西镇深处内陆，四周又无党援，不宜效仿河朔三镇父死子继的惯例，主张趁机出兵夺取淮西。

唐宪宗赞同他的意见，便让他策划征伐淮西之事，同年十月，李吉甫暴病去世，时年五十七岁。