Modelos Generativos

Relações entre os modelos

Aplicada à classificação, a variável observável X é frequentemente uma variável contínua, ao passo que a variável-alvo Y costuma ser uma variável discreta formada por um conjunto finito de rótulos. A probabilidade condicional ${\displaystyle P(Y\mid X)}$ também pode ser interpretada como uma função-alvo (não determinística) ${\displaystyle f\colon X\to Y}$, considerando X como entradas e Y como saídas.

Dado um conjunto finito de rótulos, as duas definições de "modelo generativo" estão intimamente relacionadas. Um modelo da distribuição condicional ${\displaystyle P(X\mid Y=y)}$ é um modelo da distribuição de cada rótulo, e um modelo da distribuição conjunta equivale a um modelo da distribuição dos valores dos rótulos, ${\displaystyle P(Y)}$, combinado com a distribuição das observações dado um rótulo, ${\displaystyle P(X\mid Y)}$; simbolicamente, ${\displaystyle P(X,Y)=P(X\mid Y)P(Y).}$ Assim, embora um modelo da distribuição de probabilidade conjunta seja mais informativo do que um modelo da distribuição de cada rótulo (sem as respectivas frequências relativas), a diferença entre eles é relativamente pequena, razão pela qual nem sempre são distinguidos.

Dado um modelo da distribuição conjunta, ${\displaystyle P(X,Y)}$, a distribuição de cada variável pode ser calculada por meio das distribuições marginais ${\displaystyle P(X)=\sum _{y}P(X,Y=y)}$ e ${\displaystyle P(Y)=\int _{x}P(Y,X=x)}$ (considerando X como contínua, e portanto integrando sobre ela, e Y como discreta, e portanto somando sobre ela), e qualquer uma das distribuições condicionais pode ser calculada pela definição de probabilidade condicional: ${\displaystyle P(X\mid Y)=P(X,Y)/P(Y)}$ e ${\displaystyle P(Y\mid X)=P(X,Y)/P(X)}$.

Dado um modelo de uma das probabilidades condicionais e distribuições de probabilidade estimadas para as variáveis X e Y, denotadas por ${\displaystyle P(X)}$ e ${\displaystyle P(Y)}$, é possível estimar a probabilidade condicional inversa por meio da regra de Bayes:

${\displaystyle P(X\mid Y)P(Y)=P(Y\mid X)P(X).}$

Por exemplo, dado um modelo generativo para ${\displaystyle P(X\mid Y)}$, pode-se estimar:

${\displaystyle P(Y\mid X)=P(X\mid Y)P(Y)/P(X),}$

e, dado um modelo discriminativo para ${\displaystyle P(Y\mid X)}$, pode-se estimar:

${\displaystyle P(X\mid Y)=P(Y\mid X)P(X)/P(Y).}$

Observe-se que a regra de Bayes (cálculo de uma probabilidade condicional em função da outra) e a definição de probabilidade condicional (cálculo da probabilidade condicional em função da distribuição conjunta) também são frequentemente confundidas.

Comparação com os classificadores discriminativos

Um algoritmo generativo modela a forma como os dados foram gerados para categorizar um sinal. Ele se pergunta: com base nas minhas hipóteses de geração, qual categoria tem maior probabilidade de gerar este sinal? Um algoritmo discriminativo, por sua vez, não se preocupa com a forma como os dados foram gerados e simplesmente categoriza o sinal recebido. Assim, os algoritmos discriminativos procuram aprender ${\displaystyle p(y|x)}$ diretamente a partir dos dados e, em seguida, classificá-los. Já os algoritmos generativos procuram aprender ${\displaystyle p(x,y)}$, que pode depois ser transformada em ${\displaystyle p(y|x)}$ para classificar os dados. Uma das vantagens dos algoritmos generativos é a possibilidade de usar ${\displaystyle p(x,y)}$ para gerar novos dados semelhantes aos existentes. Por outro lado, já se demonstrou que alguns algoritmos discriminativos têm desempenho superior a alguns algoritmos generativos em tarefas de classificação.

Embora os modelos discriminativos não precisem modelar a distribuição das variáveis observadas, em geral não conseguem expressar relações complexas entre as variáveis observadas e as variáveis-alvo. Ainda assim, de modo geral, não têm necessariamente desempenho superior ao dos modelos generativos em tarefas de classificação e de regressão. As duas classes são vistas como complementares ou como visões diferentes de um mesmo procedimento.

Exemplos

Exemplo simples

Suponha que os dados de entrada sejam ${\displaystyle x\in \{1,2\}}$, que o conjunto de rótulos para ${\displaystyle x}$ seja ${\displaystyle y\in \{0,1\}}$ e que haja os seguintes 4 pontos de dados: ${\displaystyle (x,y)=\{(1,0),(1,1),(2,0),(2,1)\}}$

Para esses dados, a estimativa da distribuição de probabilidade conjunta ${\displaystyle p(x,y)}$ a partir da medida empírica é a seguinte:

	${\displaystyle y=0}$	${\displaystyle y=1}$
${\displaystyle x=1}$	${\displaystyle 1/4}$	${\displaystyle 1/4}$
${\displaystyle x=2}$	${\displaystyle 1/4}$	${\displaystyle 1/4}$

enquanto ${\displaystyle p(y|x)}$ é a seguinte:

	${\displaystyle y=0}$	${\displaystyle y=1}$
${\displaystyle x=1}$	${\displaystyle 1/2}$	${\displaystyle 1/2}$
${\displaystyle x=2}$	${\displaystyle 1/2}$	${\displaystyle 1/2}$

Modelos generativos

Entre os tipos de modelos generativos estão:

• Modelo de mistura gaussiana (e outros tipos de modelos de mistura)
• Modelo oculto de Markov
• Gramática livre de contexto probabilística
• Rede bayesiana (por exemplo, naive Bayes e modelo autorregressivo)
• Rede adversária generativa
• Inteligência artificial generativa
• Estimadores de uma dependência médios (averaged one-dependence estimators, AODE)
• Alocação latente de Dirichlet
• Máquina de Boltzmann (por exemplo, máquina de Boltzmann restrita e rede de crença profunda)
• Autocodificador variacional
• Modelo generativo baseado em fluxo
• Modelo baseado em energia
• Modelo de difusão
• Análise discriminante linear

Se os dados observados forem de fato amostrados a partir do modelo generativo, ajustar os parâmetros do modelo de modo a maximizar a verossimilhança dos dados é um método comum. No entanto, como a maioria dos modelos estatísticos é apenas uma aproximação da distribuição verdadeira, caso o modelo seja aplicado para fazer inferências sobre um subconjunto de variáveis condicionadas a valores conhecidos de outras, pode-se argumentar que a aproximação faz mais suposições do que o necessário para resolver o problema em questão. Nesses casos, pode ser mais preciso modelar diretamente as funções de densidade condicional por meio de um modelo discriminativo (ver acima), embora os detalhes específicos de cada aplicação acabem por determinar qual abordagem é mais adequada em cada caso.

Modelos generativos profundos

Com a ascensão do aprendizado profundo, surgiu uma nova família de métodos, denominada modelos generativos profundos (deep generative models, DGMs), a partir da combinação de modelos generativos com redes neurais profundas. O aumento da escala das redes neurais costuma vir acompanhado de um aumento da escala dos dados de treinamento, e ambos são necessários para obter um bom desempenho.

Entre os DGMs mais conhecidos estão os autocodificadores variacionais (VAEs), as redes adversárias generativas (GANs) e os modelos autorregressivos. A partir do final da década de 2010, observou-se uma tendência de construir modelos generativos profundos de dimensões muito grandes. Por exemplo, o GPT-3 e seu antecessor, o GPT-2, são modelos de linguagem neurais autorregressivos com bilhões de parâmetros; o BigGAN e o VQ-VAE, usados na geração de imagens, podem ter centenas de milhões de parâmetros; e o Jukebox é um modelo generativo de áudio musical de grandes dimensões, com bilhões de parâmetros.

Notas

Referências