É filho de Olavo Calheiros Novais e irmão mais novo do senador Renan Calheiros, ex-presidente do Senado. Olavo iniciou o curso de agronomia na Universidade Federal da Paraíba (UFPB) em 1976 e se formou em 1979. No mesmo período, militou no antigo MDB. Após a abertura política, manteve-se no PMDB e em 1983 assumiu seu primeiro cargo público, de Secretário Municipal de Administração em sua cidade natal, Murici.
Em 1984, Olavo Calheiros chegou ao executivo estadual de Alagoas, no qual exerceu os cargos de Secretário de Viação e Obras Públicas (1984-1986) e da Agricultura (1987-1988). No governo de Manuel Gomes de Barros, ocupou entre julho de 1997 e 1998 o cargo de Secretário de Infraestrutura do estado, do qual descompatibilizou-se para concorrer a deputado federal.
Olavo Calheiros foi deputado no Congresso Revisor, entre 1991 e 1995. No mandato seguinte, chegou a exercer o cargo como suplente, só conseguindo assumir uma cadeira de titular a partir das eleições de 1998. Teve ainda uma rápida passagem pelo PRN, no Governo Collor, entre 1990 e 1991, quando voltou ao PMDB.
Exerceu o mandato de deputado federal nas seguintes legislaturas: 1991-1995, 1995-1997 (suplente), 1999-2003, 2003-2007 e 2007-2011.
Em 2010 foi candidato eleito a deputado estadual sendo reeleito nas legislaturas de 2014 e 2018, onde obteve 40.466 votos, sendo o terceiro mais votado do estado.