然而,汲黯根本看不上这个小小的荥阳县令,觉得简直是对自己的羞辱,就借生病为由,回到老家休养去了。汉武帝得知此事后,只好又把汲黯召了回来,官拜中大夫。汲黯仍然不改刚直的本性,屡次直谏,结果惹恼了武帝,又把他贬为东海太守。到了东海后,不过一年的功夫,他就把东海治理得井井有条,官民众口交赞,远近闻名。汉武帝听闻后,又赶紧把汲黯召回来,官拜主爵都尉,位列九卿,一跃成为朝廷重臣。
汲黯为官刚正不阿,喜欢说直话,不能容忍他人的过错,所以常当面给人难堪。朝中的很多大臣见了他都要谨言慎行,生怕让他抓到什么把柄。廷尉张汤修订和施行律令,只知按照皇帝的意旨行事,制定了许多严酷的刑罚,光死刑就有四百九十多条。
汲黯看不惯,就破口大骂张汤:“天下人说,刀笔吏不可担任公卿大臣,果然让国家法律繁苛到令天下人重足而立、仄目而视的程度,也就是张汤这个家伙做得出!”张汤素知汲黯的为人,默然以对。