En starodavni ritual, opisan v Stari zavezi, se je nanašal na izbiro in končno izgon koze iz preostale črede. Ta koza je bila pogosto obarvana z rdečim pigmentom, ki predstavlja kolektivne grehe in krivice celotne skupnosti. Po izročilu je bila ta koza poslana v puščavo, da bi srečala Azazela, padlega angela, podobnega Satanu ali Luciferju. Srednjeveški napačen prevod je ustvaril sodobno legendo o pobeglem kozlu ali grešnem kozlu.
V sodobnem smislu je grešni kozel pogosto član organizacije, ki je odgovoren za napake ali pomanjkljivosti celotne skupine. Glavni finančni direktor podjetja v stečaju je lahko na primer odgovoren za njegove finančne pomanjkljivosti. Osramočenega izvršnega direktorja je mogoče obtožiti za razkrito kršitev podjetja ali pa se politika na nizki ravni lahko obravnava kot predstavnik razširjene vladne korupcije.
To ne pomeni, da je grešni kozel popolnoma nedolžen glede obtožb ali je bil nepravično žrtvovan. Oseba, ki je bila spoznana za krivo korupcije v javnosti med opravljanjem funkcije, lahko postane simbol za druge, ki so zagrešili podobna kazniva dejanja, vendar niso bili obtoženi ali kaznovani. Ko je v športnem svetu izbruhnil škandal z nezakonito uporabo steroidov, so nekateri verjeli, da je peščica igralcev, ki so priznali uporabo drog, postala grešni kozli za njihove celotne organizacije. Na to osebo lahko gledamo tudi kot na žrtveno jagnje, ki sprejema kazen, da bi zaščitilo druge.
Obstajajo tudi situacije, v katerih je grešni kozel izbran iz političnih ali strateških razlogov. Na primer, če krivdo za neuspehe podjetja pripišete vodstvu na nižji ravni, lahko odvzame pravno pozornost višjih uradnikov. Prihodnost vodstvenih delavcev na nizki ravni morda ni tako svetla, vendar bi vsaj organizacija kot celota preživela javni nadzor s kaznovanjem določenega kršitelja. Pogosto je vloga te osebe javno opozoriti na nepravilnosti ali korupcijo in sprejeti posledice dejanj drugih ljudi.
Greška kozla lahko štejemo tudi za dejanje samoohranitve. Namesto da bi na primer sprejeli skupno krivdo za razbito okno, bi lahko skupina amaterskih igralcev baseballa izpostavila krivca. Čeprav so dejanja vsakega igralca prispevala k škodi, bi vso odgovornost na zadnjega igralca, ki se je dotaknil žoge, razbremenilo osebne odgovornosti preostalih članov skupine. Skupini je pogosto veliko lažje določiti eno osebo, ki bo prevzela krivdo, namesto da sprejme individualno odgovornost za določene prestopke.