Carreira pública
Durante o período de maior repressão do governo militar brasileiro, o Movimento Democrático Brasileiro (MDB) acomodou os membros do Partido Comunista Brasileiro. Com uma campanha feita pelos militantes deste Partido, Alberto Goldman foi eleito deputado estadual em São Paulo pelo MDB em 1970, e reeleito em 1974, obtendo 75 mil votos, o segundo mais votado, enquanto o candidato da ARENA (partido governista de apoio à Ditadura Militar) mais bem colocado obteve 48 mil votos. Sua popularidade e a conhecida militância comunista fizeram com que ele estivesse sempre sob ameaça de cassação, e com seus telefones permanentemente monitorados por órgãos de repressão política. Apesar disto, conseguiu ser eleito, por seus pares, líder do MDB na Assembleia Legislativa de São Paulo.
Foi deputado estadual até 1979, quando passou a exercer o mandato de deputado federal, sendo várias vezes reeleito para a Câmara de Deputados. Ao todo, exerceu seis legislaturas, das quais quatro consecutivas: 1979–1983, 1983–1987, 1991–1995, 1995–1999, 1999–2003, e 2003–2006.
Continuou no recém-criado PMDB em 1980, quando o MDB foi extinto. Devido ao fim da Ditadura Militar, passou a haver liberdade de associação política no Brasil em 1985. Alberto Goldman, então, tornou-se oficialmente membro do Partido Comunista Brasileiro, que recentemente tinha saído da clandestinidade. Em 1986, candidatou-se pelo PCB a uma vaga de deputado federal por São Paulo na Assembleia Nacional Constituinte. Contudo, o baixo nível proporcional de votos recebido pela legenda inviabilizou sua eleição. Sem mandato, no ano seguinte regressou ao PMDB.
Integrou o "PMDB autêntico", grupo de políticos à esquerda do PMDB que haviam sido mais ativos no combate à Ditadura Militar de 1964. Uma ala do "PMDB autêntico", liderada pelo ex-governador Franco Montoro, descontente com as lideranças do PMDB tanto a nível nacional (o então presidente José Sarney) quanto estadual (o governador de São Paulo, Orestes Quércia), resolveu fundar, em 1988, um novo partido, o PSDB. Entretanto, Alberto Goldman, ao lado de outro "autêntico", Aloysio Nunes Ferreira Filho, permaneceu filiado ao partido e continuou a apoiar Orestes Quércia, assumindo diversos cargos em sua administração: foi Secretário Especial de Coordenação de Programas (1987–1988) e Secretário Estadual de Administração (1988–1990). Ainda durante o governo de Quércia, foi presidente da Comissão de Reforma Administrativa do Governo do Estado de São Paulo (1987–1990).
Em 1990, nas eleições de outubro, retornou à Câmara dos Deputados. Votou a favor do impeachment do presidente Fernando Collor na sessão de 29 de setembro de 1992. Comandou o Ministério dos Transportes (1992–1993) no governo de Itamar Franco, dando início à duplicação das rodovias Fernão Dias e Régis Bittencourt.
Como deputado federal, foi membro da Comissão da Câmara dos Deputados em visita à URSS (1984), observador parlamentar da 50ª Sessão da Assembleia Geral das Nações Unidas (1995), e participante da IV Conferência Internacional de Autoridades Federais e Estaduais (Jerusalém, 1995).
Em 1996, disputou a presidência nacional do PMDB, perdendo por apenas um voto. No ano seguinte, mudou para o PSDB, assumindo logo depois a primeira vice-presidência nacional do partido.
Continuando como deputado federal pelo PSDB, foi presidente da comissão que reestruturou o setor de energia elétrica (1996), relator da Comissão Especial de Telecomunicações (1997) (sua atuação foi considerada decisiva na aprovação do novo ordenamento legal das privatizações), relator da Comissão que quebrou as patentes das multinacionais farmacêuticas, representante da Câmara dos Deputados na V Conferência Internacional de Ministros e Membros de Parlamento de Origem Judaica (Jerusalém, 1998), e visitante do Reino Unido a convite do Governo Britânico (1998). Foi também líder do PSDB na Câmara dos Deputados.
Eleito vice-governador de São Paulo pelo PSDB na chapa de José Serra, tomou posse em 1 de janeiro de 2007, deixando o mandato de deputado federal para Silvio Torres. Além de exercer o cargo de vice-governador, foi também chefe da pasta da Secretaria Estadual de Desenvolvimento (antiga Ciência e Tecnologia).
Governador de São Paulo
Com a renúncia de José Serra, assumiu o Governo do estado de São Paulo em 2 de abril de 2010, e exerceu o cargo até 1 de janeiro de 2011, quando o transmitiu a Geraldo Alckmin. Foi o primeiro judeu a ocupar este cargo, assim como o primeiro ex-comunista a ocupá-lo como titular (outro ex-militante comunista, Aloysio Nunes Ferreira Filho, assumiu o posto em caráter provisório na qualidade de vice-governador de Luiz Antônio Fleury Filho). Foi também o governador mais idoso a assumir o cargo (72 anos, superando Cláudio Lembo). Durante seu governo, foi inaugurado o primeiro trecho da Linha 4 — Amarela, ligando as estações Paulista e Faria Lima, e a estação Vila Prudente da Linha 2 - Verde.
