Josef Abrhám se narodil 14. prosince 1939 ve Zlíně. Dětství prožil na Slovácku v Kunovicích, kde vlastnil jeho dědeček z otcovy strany cihelnu. Po maturitě si především kvůli komplikovanému kádrovému posudku nemohl příliš vybírat, a tak začal pracovat ve znárodněné cihelně a na stavbě. Po dvou letech byl přijat na VŠMU v Bratislavě, odkud ve třetím ročníku přestoupil na pražskou DAMU.
Po studiích na DAMU působil v šedesátých letech v Divadle na Vinohradech, svou nejslavnější éru však zažil v domovském Činoherním klubu, kde působil až do roku 1992. Následovala krátká epizoda v Národním divadle, poté se však stálého divadelního angažmá vzdal.
Zlínského rodáka nejvíce proslavily jeho filmové role. Poprvé se před kamerami objevil ve studentském filmu Věry Chytilové Strop a také v detektivce Vladimíra Čecha Kde alibi nestačí. Následovaly snímky Velká cesta, Každý den odvahu, Dita Saxová a Pension pro svobodné pány.
Jeho hvězda začala zářit v sedmdesátých letech, kdy ztvárnil postavy ve filmech Partie krásného dragouna, Holka na zabití a ve svěrákovské komedii Marečku, podejte mi pero!
Nezaměnitelný herecký projev Josefa Abrháma se výborně potkal se specifickým humorem autorské dvojice Svěrák – Smoljak, se kterou úspěšně spolupracoval na několika dnes již kultovních komediích jako Kulový blesk, Vrchní, prchni! nebo Jára Cimrman ležící, spící.
V polistopadovém období si zahrál v Andělských očích nebo v muzikálu Šakalí léta, který mu vynesl Českého lva. Následovaly role ve filmech Všichni moji blízcí, Pánská jízda a Kráska v nesnázích.
V posledních letech přijímal téměř výhradně role po boku své manželky a velké životní lásky Libuše Šafránkové. Zahráli si spolu například v romanci Přijde letos Ježíšek? nebo v pohádce Kouzla králů. Před filmovou kamerou se Abrhám naposledy objevil v roce 2016 v pohádkovém filmu Jiřího Stracha Anděl Páně 2.
Vedle divadla a filmu slavil Josef Abrhám úspěchy také na seriálovém poli. Nejvíce jej proslavila role uhrančivého doktora Arnošta Blažeje v oblíbeném seriálu Nemocnice na kraji města. Objevil se také v seriálech Malý pitaval z velkého města, Cirkus Humberto, Náhrdelník, Náves, Hraběnky nebo Trpaslík.
