Balaban și-a început cariera în anii 1960, apărând în roluri mici în filme și emisiuni de televiziune. A avut un rol de succes în filmul Midnight Cowboy din 1969, interpretând un tânăr escroc care se împrietenește cu un cowboy de rodeo în vârstă. În anii 1970, Balaban a apărut în numeroase filme populare, inclusiv Close Encounters of the Third Kind (1977), Altered States (1980) și 2010 (1984). De asemenea, a continuat să lucreze în televiziune, având roluri recurente în emisiunile Lou Grant și Designing Women.
În anii 1990, Balaban a început o colaborare lungă și fructuoasă cu cineastul Christopher Guest. A apărut în toate comediile mockumentary ale lui Guest, inclusiv Waiting for Guffman (1996), Best in Show (2000), A Mighty Wind (2003) și For Your Consideration (2006). Performanțele lui Balaban în aceste filme au fost foarte apreciate, iar el și-a câștigat reputația de unul dintre cei mai de încredere actori comici din Hollywood.
Pe lângă munca sa în film și televiziune, Balaban a regizat și trei filme de lungmetraj: The Last Shot (1999), Bernie (2011) și A Little Help (2010). Este de asemenea un autor de succes de romane pentru copii și a câștigat mai multe premii pentru scrierile sale.
Balaban este un actor respectat și versatil care a avut o carieră lungă și de succes în industria divertismentului. Este cunoscut pentru umorul său ascuț