初为平阳卒吏
尹翁归成人后在平阳衙门里当了个卒吏，公务之余，常常读些法律方面的书，通晓各项法律条文。此外，还经常习武学剑，会一套娴熟的剑法，在平阳一带，很有点名气。
由于尹翁归聪明能干，后来让他做平阳市吏，也就是管理市场的小官。官虽小，他却认真负责，吃苦耐劳，也从不利用职务之便，勒索他人的钱财。
当时，大司马大将军霍光辅佐年幼即位的昭帝（公元前86一前74年在位），已掌权多年，很有权势。霍光也是平阳人，他在平阳豢养了一帮奴客。这些奴客仰仗霍光的势力，横行乡里。他们公然在白天持刀闯入集市，无理打闹，拦抢钱物，地方官惧怕其权势，不敢干涉制止，老百姓有苦不敢言。
尹翁归上任后，不怕权势，不畏强暴，敢于履行自己的职责，严格管理市场，整顿市场秩序，对聚众闹事，扰乱市场的不法之徒，严惩不贷。霍氏家奴尝到了尹翁归的铁拳头，从此不敢再犯。
虽说市吏官卑职微，但却是个人人垂涎的美差。尹翁归的前任利用职权之便，敲榨勒索，受礼纳贿，大发横财。而尹翁归却处处秉公执法，不徇私情，拒不接受商人的赠品。所以商人们既害怕他，又敬重他。《汉书·尹翁归传》中赞扬他。“公廉不受馈，百贾畏之。”后来，尹翁归离职归家。
为田延年所识
那时恰好河东太守田延年到平阳县来视察。他把全县五、六十名做过吏役的旧职员请来，亲自—一接见，并叫文吏坐东边，武吏坐西边。太守接见了好几个人，轮到尹翁归时，他却俯伏在地上不肯起来。田延年问他是什么缘故，尹翁归说：“我既能文也能武，专听候您的安排。”
功曹认为这个小吏傲慢不恭，田延年却说：“这有什么呢?"便叫他上前，向他问话。尹翁归对答如流，使太守非常惊异，当即任用他为卒吏，将他带回府上，让他审理案件。
果然，尹翁归考问事情，发现奸邪，都能查个水落石出。因此，太守很器重他，认为自己的能力不如尹翁归，就提拔他担任督邮，代表太守督察县乡。尹翁归任职期间查办的案子，都合乎法令规定，定罪判刑时，一定要掌握真凭实据。因此，所属各县官吏虽被人检举而受到查办，却没有一个怨恨他。
后来，尹翁归被荐举为缑氏县尉，并历任过郡中的各项职务。他每到一处，都能把当地治理好。以后，他被选调任都内令，继而被推荐做了弘农郡的都尉。