福建近海，外贸活跃，“外番贡舶有所献，悉屏之。或呈样香，一嗅即持去”。那些外国贡使及商人十分感动，啮指作礼曰：“天朝有此清官，吾侪所未闻见也”（《事略》）。康熙十九年(1680)二月，于成龙升直隶巡抚。当时，直隶许多州县以各种借口，增加火耗（即附加税，无定额，主要用于官吏养廉），百姓负担加重，苦不堪言。他一到任，首先颁布告示，“戒州县私加火耗馈遗上官”；其次，整顿吏治，驱除贪吏，拯救民生（《于成龙传》）。二十年(1681)，康熙亲自召见，“赐坐赐茶，面谕曰：‘尔为今时清官第一，朕所深知’”;“旋赐食御书房，又赐帑金千、良马一。马，上所乘也。越数日，御制诗，手书赐之”（《事略》）。
不久，于成龙任江南总督。当他任职的消息传到两江时，据说那些挥霍无度的名门望族，立即过起简朴的生活，甚至在他到达江宁之前就换掉了他们的豪华服饰。据野史记载：于成龙以兵部尚书总督两江，在官“日食粗粝，佐以菜把，年饥屑糠杂米为粥，举家食之。客至亦以进。谓曰：‘如法行之，可留余米赈饥民也’”
由于他每日只吃青菜，很少吃鱼肉，江南人满怀敬意地称之为“于青菜。”“仆从无从得茗（茶叶），则日采衙后槐叶啖之，树为之秃。诸子冬衣褐，或木棉袍，未尝制一裘”（《清朝野史大观》卷五）。他力倡清廉，经常告诫部下：“若一味爱钱，只恐子孙纵会做文字，决不出头，更恐神鬼怒恨，生出瞎眼子孙，上长街唱莲花落，要看字也不能够了。莫笑老夫迂谈”（《于清端公政书》）。由于于成龙反对奢侈，厉行节约，江南风气为之一变，“相率易布衣，士大夫家为减舆从，毁丹垩，婚嫁不用音乐，豪猾率家远僻。居数月，政化大行”（《于成龙传》）。二十三年春，于成龙兼摄江苏、安徽两巡抚事。四月十八日病逝。公自服官后，“未尝携家属。率时，将军、都统及僚吏入视，惟笥中绨袍一袭，床头盐豉数器而已。”听到于成龙逝世的消息，“民罢市聚哭，家绘像祀之”（《于成龙传》）。灵柩归葬故里时，“江宁守及门下诸生合士民数万人，步二十里外，伏地哭江干，江水声如不闻”（《碑集传》卷六十五）。人们深切哀悼这位廉洁奉公的方面大员。
于成龙死后不久，康熙南巡，对于成龙大加褒奖，谕大学士等：“朕博采舆评，咸称于成龙实天下廉吏第一”（《于成龙传》）。从芝麻七品的罗城知县，到封疆大吏的两江总督；从半鸭知县，到于青菜，于成龙二十余年如一日，廉洁自律，始终如一，勤政爱民，两袖清风，其高风亮节，将永远彪炳于史册，垂范于后人。
