A proposta de montar uma aliança com o PFL/PMDB/PSDB/PDT para a eleição presidencial nasceu em fevereiro de 1994. A idéia partiu do então senador Marco Maciel (PFL) durante um encontro do PFL. O PDT acabou ficando de fora do acordo. Em março do mesmo ano, o nome do deputado Gustavo Krause começa a despontar como o mais forte para disputar a sucessão estadual de 94. Krause acabou sendo o escolhido para encabeçar a chapa da União Por Pernambuco, com o apoio de Jarbas.
Em Junho de 95, a disputa pela Prefeitura do Recife começa a entrar na pauta das discussões. Jarbas ainda era prefeito e começava a conversar com o então presidente nacional do PFL, José Jorge, os nomes mais cotados para compor a chapa. Com a votação garantida no Recife, Jarbas se filia novamente ao PMDB. De olho na eleição para o Governo do Estado ele tenta reconstruir a aliança PMDB/PFL/PSDB.
Em maio de 1996 Roberto Magalhães e Raul Henry são confirmados para disputar a PCR. Jarbas tem participação decisiva na vitória de Roberto Magalhães. Em 1997, o ex-prefeito começa a articular o apoio de Fernando Henrique Cardoso e Marco Maciel para fortalecer sua candidatura em 98. Em abril de 97, acontece o primeiro encontro da aliança desde a sua formação. Em novembro de 1997, a União Por Pernambuco faz contatos para a adesão de novos partidos. O PPB é o alvo principal da aliança.
Na convenção que confirma o nome de José Jorge para o Senado e de Mendonça Filho - em junho de 98 - para a vice de Jarbas, mais nove partidos confirmam a participação na aliança: PPB, PL, PV, PSDC, PST, PRTB e PTN. Jarbas venceu a eleição com um percentual de 60% dos votos válidos. Dois anos depois de eleito, a União por Pernambuco perdeu para o PT as eleições de 2000. Em abril de 2002, ele desiste de ser o vice na chapa de José Serra (PSDB). Em junho, a aliança jarbista ganha o reforço do PPS. E vence em outubro no 1º turno as eleições.