义熙十一年谢灵运转任中书侍郎，次年刘裕征讨后秦姚氏，骠骑将军刘道怜留守都城。

谢灵运被任命为谘议参军，再转任为中书侍郎，接着又被任命为世子中军谘议、黄门侍郎。

后来，谢灵运又奉命出使彭城，慰劳刘骏，并写了《撰征赋》。

元熙元年刘裕在彭城建宋国，奉命出使归来的谢灵运仍然被任命为宋国黄门侍郎，再升任相国从事中郎、世子左卫率，却因为擅自处死门生，被免除官职。

永初元年，刘裕代东晋自立，谢灵运爵位由康乐公降为康乐县侯，食邑五百户，又出任散骑常侍，转任太子左卫率。

谢灵运天性偏激，常常有触犯礼法律令的行为。朝廷只把他当做有些才华的文人，而不是有学识才干的政治家。

可惜他自己却认为有水平参与国家大政，却不被赏识得到重用经常愤愤不平。

永初三年，宋少帝继位，权力掌握在大臣的手上，谢灵运在中间挑拨离间，诽谤当权的人。

司徒徐羡之等人很怕他，便排挤他外放任永嘉太守，永嘉郡有很多名山秀水，谢灵运一贯喜欢游山玩水，因为他是被贬谪出来的，于是便任情地遨游。

足迹几乎踏遍了每一个县，每次出游，经常十数天不归，治民、进贤、决讼、检奸等郡守的主要职责，他一概不闻不问。

他无论到哪个地方，都吟诗作赋，表达他的感受和心意，在郡上任职只一年，便称病离职，返乡隐居。

他的堂弟谢晦、谢曜、谢弘微等都写信规劝他，但他根本不听。

谢灵运祖父和父亲都安葬在伯宁县，那里有他家的老屋和别墅，于是他自行把自己的籍贯改成会稽郡，在那里修建房屋和庄园。

他的居处前瞰环环的秀水，后背巍巍的大山，极尽幽深静谧的风致。

他和隐士王弘之、孔淳之等逍遥放纵，作诗为乐，他每一首诗被传到京城，无论贵贱竞相传抄，一夜之间，官吏百姓便对这首诗知晓熟悉了。

远近四方的人非常仰慕他，一时间，名噪京城，他还写了一篇《山居赋》并自己进行注释，以记述这些事。

景平二年刘义隆登基为帝，元嘉三年诛杀权臣徐羡之等人，随后调任谢灵运为秘书监，但两次召见，谢灵运都没理睬。

刘义隆派光禄大夫范泰写信给谢灵运称赏他，他才应召就任，皇帝叫他整理秘书省的书籍，补增遗漏的地方，又因为有晋一代没有一本完整的史书，所以叫谢灵运写一本《晋书》。

他写出粗略提纲，但这书终究没有写成，不久又升任侍中，每天早晚被召见，很得文帝的宠爱。

谢灵运的文章书法都独步当时，他每次作文，都亲笔抄录，文帝称他的文章和墨迹为二宝。

既然自己是名人，谢灵运觉得自己应该参与朝政，开始被召见时，便这样自许，但召见之后，文帝却只把他当成一个文人而已。

他每次和文帝在一起喝酒时，文帝不过让他谈论诗文而已。