父親を早くに亡くし母子家庭で育つ。兄弟には姉がいる。東京都立大学（現・首都大学東京）に入学をした時には、弁護士を目指していたが単位が足りなかったために挫折。在学中に俳優を志し、劇団に入団。大学を卒業後の10年間は悪役専門の俳優として活躍をする。身長183cmの大柄な体格と強面な風貌で『西部警察』、『Ｇメン'75』、『特捜最前線』等の刑事ドラマで冷酷で凶暴な犯人役をこなした。後に阿藤はある番組の中で「自分の母親に自分が殺される姿を見せるのは辛かった。旅番組に出るようになってようやく親孝行が出来た」と当時の心境を吐露している。