元兴元年（402年）春，荆、江二州刺史桓玄进入建康，控制东晋朝政后，为提高自己的声望，装模做样地贬黜佞臣，提拔俊贤。于是，素有廉洁美名的吴隐之被封为龙骧将军，领平越中郎将，持节出任广州刺史。广州地处南海，所辖地域包括现在的广东、广西大部，气候温暖湿润，物产丰富，而且是我国对外通商最早的城市，自东汉以来，一直为海上贸易中心。外国商船经常带来许多奇异的珍宝。来此做官的官吏只要携带一箱珠宝返回内地，就可供子孙几代的享用。所以历任刺史，大都以搜敛珠宝为务，没有不发横财的。东晋王朝也深知这种弊端，并想整治革除，而苦于找不到合适的人选。吴隐之接到任命后，立即携带家眷起程上路。在距广州20里外的石门有处泉水，人称贪泉。传说喝了贪泉水的人，就会丧失廉洁的本性，变得贪婪无厌起来。因此，路过此泉的人，为了标榜自己清白，宁肯忍着口渴舌燥之苦，也不饮贪泉水。吴隐之途经此泉时，很感慨地对随行的亲人说：“不被私欲驱使，心绪就不会错乱。过了岭南而丧失清白的人，我是知道其中的原委的。”
于是走近水边，一面酌泉而饮，一面赋诗咏怀说：
古人云此水，一歃怀千金；
试使夷齐饮，终当不易心。
从而表达了他以伯夷，叔齐自律，不易节操的情怀。
吴隐之上任后，非常注意自己的操行，平时饭菜没有酒肉，仅以咸菜和干鱼就餐。衣着都是以往穿过的，没有添置新衣。官府给他配备的帷帐器物，也都送到仓库里堆放起来。不了解吴隐之的人都说他矫揉造作，为了博取虚名。
然而，吴隐之不为这些闲言碎语所动，始终坚持去奢务俭的节操。他手下有位官吏知道吴隐之爱吃鱼，就经常进献去了骨刺的鱼，想讨好吴隐之，以利于升迁。当吴隐之发现此人动机不良后，不仅没有领情，还处罚和贬降了他。从此，再也没人敢向吴隐之送东西了，官府的行贿之风也有了收敛。
一次，吴隐之和妻子在湖畔观览风光，妻子乘兴买了一斤沉香给他看。吴隐之接过一看，嫌是奢侈之物，便随手抛入湖中。由于吴隐之自身廉洁俭朴，又严于吏治，手下官属大都不敢搜敛骚扰百姓，素以贪赃渎职闻名的岭南，吏治有了新的改观。为此，晋安帝特下诏书表彰说：“孝敬的品行笃于闺门，高洁的节操厉乎风霜，实在是为人处世所难以做到的，然而是君子的最高美德。吴隐之孝顺父母，友爱兄弟超过常人，俸禄分给九族共享，自养菲薄，俭朴过人。本来处在可以发财的地域，却不改清操；本来具备了富有的地位、条件，一家人却不肯改换旧服。恪守自律，革奢务俭，致使南岭腐败的吏治大为改观。朕理应给予嘉赏，所以晋号前将军，赐钱五十万，谷千斛。”
元兴三年（404年），卢循率领东南八郡的农民起义军进攻广州。吴隐之率领士卒还击，他的儿子吴旷之战死沙场。经过一百多天的激烈战斗，广州失陷，吴隐之也成了阶下囚。当时东晋朝廷也发生了巨变。桓玄野心膨胀，废除晋安帝自立，致使各地的刺史、太守纷纷起兵反对。元兴三年二月，刘裕纠集了一批北府兵的中下级将领在京口和广陵同时起兵，讨伐桓玄，很快攻入建康。桓玄挟持晋安帝出逃，兵败被杀。义熙元年（4O5年）二月，刘裕迎晋安帝回建康复位，并执掌朝政。卢循乘机上表东晋朝廷，自称平南将军，代理广州刺史，又以吴隐之系桓玄同党，请求处死。刘裕因忙于肃清桓氏余党，巩固自己的权力，无暇远顾，遂同意卢循割据岭南的要求，但处斩吴隐之不予批准，并写信让他把吴隐之遣送回京都。吴隐之这才被释放。
吴隐之在广州当了两年多的刺史，回建康时还和南来赴任一样，两袖清风。建康家中，也只有残瓦断壁，茅屋6间。此时，刘裕正着手改革东晋积弊，对以廉洁著称的吴隐之十分敬重，见他生活实在清贫，就送给他坐车、耕牛，并决定给他营建一所住宅。对此，吴隐之都—一谢绝了。
不久，吴隐之被重新起用，官拜度支尚书、太常等职。度支尚书是主管国家财政收入与支出的官职，对一般人来说，是干载难逢的发财良机。然而，吴隐之抱定不取非份之财的宗旨，尽管家徒四壁，依然清节如故；从不染指经手的财物。他家中以竹篷为屏风，座位上连张毡席都没有。后来又迁任中领军，每月领到俸禄后，除留下自己的口粮外，其余的全部资助了贫苦的亲族，而自己一家的生活全靠妻子纺织供给。有时粮食缺乏了，就三餐改为两餐。吴隐之身居高官数十年，还经常穿打补丁的衣服。妻子儿女没有因为他的官职沾上任何好处，反而养成了廉洁自律的好门风。所以，不仅吴隐之以清廉节俭名垂青史，他的妻子也以贤德载入史册，儿孙则以廉慎孝弟闻名。
义熙八年（412年），吴隐之因年迈申请辞官，得到准许。第二年，死于家中。东晋王朝追赠左光禄大夫，加散骑常侍。