成语“惩一儆百”出自东汉班固的《汉书•尹翁归传》，惩罚一个人，借以警戒多人，以减少犯错。惩：惩罚；警：警戒。
西汉时期，河东太守田延年巡视平阳时，发现尹翁归是一个很有才能的人，就把他调到自己手下当差。后来，田延年因尹翁归执法如山，对他更加器重，便奏请皇帝，任命他为东海太守。
尹翁归到任之后，发现东海郡存在着一些问题。
首先是管理混乱。为解决这个问题，他广泛地建立簿籍档案，搜集各方面的资料。他经常趁闲暇时翻阅这些资料，很快就掌握了东海郡的情况。
东海郡的另一个问题是强盗横行。有一个叫许仲孙的人，仗着自己有后台，经常无故欺压百姓，随意杀人。当地的百姓把他视为洪水猛兽，无不对他恨之入骨。但因为他后台很硬，百姓和官府拿他一点办法都没有。
尹翁归到各县巡察时，告状信如小山一般堆积到他的面前，其中有很多都是控诉许仲孙的。尹翁归派人展开全面调查，查清了许仲孙的犯罪事实后，决定采取惩罚一个以警戒众人的办法，首先将许仲孙这个罪大恶极之人逮捕归案，然后把他的种种罪行公之于众，再把他斩首示众。尹翁归的这种做法收到了很好的效果，从此以后，郡内其他的坏人畏惧尹翁归，没有人敢再明目张胆的胡作非为了，东海郡也日趋安定了。
