Hierarquia de cache

Tempo médio de acesso (AAT)

Os caches, por serem pequenos, podem resultar em falhas frequentes – quando uma busca no cache não fornece a informação procurada – resultando em uma chamada à memória principal para buscar dados. Assim, o AAT é afetado pela taxa de falha de cada estrutura na qual ele pesquisa os dados.

${\displaystyle {\text{AAT}}={\text{tempo de acerto}}+(({\text{taxa de falha}})\times ({\text{penalidade de falha}}))}$

O AAT para a memória principal é dado pelo Tempo de acerto_{memória principal}. O AAT para caches pode ser dado por:

Tempo de Acerto_cache + (Taxa de Falha_cache × Penalidade de Falha_{tempo levado para ir à memória principal após falha no cache}).^{[mais explicações necessárias]}

O tempo de acerto para caches é menor que o tempo de acerto para a memória principal, portanto o AAT para recuperação de dados é significativamente menor ao acessar dados através do cache do que através da memória principal.

Compromissos

Embora o uso do cache possa melhorar a latência da memória, nem sempre resulta na melhoria necessária para o tempo gasto na busca de dados devido à forma como os caches são organizados e percorridos. Por exemplo, caches de mapeamento direto do mesmo tamanho geralmente têm uma taxa de falha maior do que caches totalmente associativos. Isso também pode depender do benchmark do computador que testa o processador e do padrão das instruções. Mas usar um cache totalmente associativo pode resultar em maior consumo de energia, pois precisa pesquisar todo o cache a cada vez. Devido a isso, o compromisso entre consumo de energia (e calor associado) e o tamanho do cache torna-se crítico no projeto do cache.

Evolução

No caso de uma falha de cache, o propósito de usar tal estrutura será inútil e o computador terá que ir à memória principal para buscar os dados necessários. No entanto, com um cache multinível, se o computador falhar no cache mais próximo do processador (cache de nível um ou L1), ele pesquisará então o(s) próximo(s) nível(is) de cache e irá para a memória principal apenas se esses métodos falharem. A tendência geral é manter o cache L1 pequeno e a uma distância de 1–2 ciclos de clock do processador, com os níveis inferiores de cache aumentando em tamanho para armazenar mais dados do que o L1, sendo assim mais distantes, mas com uma taxa de falha menor. Isso resulta em um AAT melhor. O número de níveis de cache pode ser projetado pelos arquitetos de acordo com seus requisitos após verificar os compromissos entre custo, AATs e tamanho.

Ganhos de desempenho

Com o escalonamento da tecnologia que permitiu que sistemas de memória fossem acomodados em um único chip, a maioria dos processadores modernos tem até três ou quatro níveis de cache. A redução no AAT pode ser compreendida por este exemplo, onde o computador verifica o AAT para diferentes configurações até caches L3.

Exemplo: memória principal = 50 ns, L1 = 1 ns com 10% de taxa de falha, L2 = 5 ns com 1% de taxa de falha, L3 = 10 ns com 0,2% de taxa de falha.

• Sem cache, AAT = 50 ns
• Cache L1, AAT = 1 ns + (0,1 × 50 ns) = 6 ns
• Caches L1–2, AAT = 1 ns + (0,1 × [5 ns + (0,01 × 50 ns)]) = 1,55 ns
• Caches L1–3, AAT = 1 ns + (0,1 × [5 ns + (0,01 × [10 ns + (0,002 × 50 ns)])]) = 1,5101 ns

Desvantagens

• A memória cache tem um custo marginal maior do que a memória principal e, portanto, pode aumentar o custo do sistema como um todo.
• Os dados em cache são armazenados apenas enquanto a energia é fornecida ao cache.
• Aumento da área no chip necessária para o sistema de memória.
• Os benefícios podem ser minimizados ou eliminados no caso de programas grandes com baixa localidade temporal, que acessam frequentemente a memória principal.

Banqueado versus unificado

Em um cache banqueado, o cache é dividido em um cache dedicado ao armazenamento de instruções e um cache dedicado a dados. Em contraste, um cache unificado contém ambas as instruções e dados no mesmo cache. Durante um processo, o cache L1 (ou o cache de nível mais alto em relação à sua conexão com o processador) é acessado pelo processador para recuperar tanto instruções quanto dados. Exigir que ambas as ações sejam implementadas ao mesmo tempo requer múltiplas portas e mais tempo de acesso em um cache unificado. Ter múltiplas portas requer hardware e fiação adicionais, levando a uma estrutura significativa entre os caches e as unidades de processamento. Para evitar isso, o cache L1 é frequentemente organizado como um cache banqueado, o que resulta em menos portas, menos hardware e tempos de acesso geralmente menores.

Processadores modernos têm caches divididos, e em sistemas com caches multinível, os caches de nível inferior podem ser unificados enquanto os de nível superior são divididos.

Políticas de inclusão

Se um bloco presente na camada de cache superior também pode estar presente no nível de cache inferior é regido pela política de inclusão de cache do sistema de memória, que pode ser inclusiva, exclusiva ou não inclusiva não exclusiva (NINE).^{[carece de fontes]}?

Com uma política inclusiva, todos os blocos presentes no cache de nível superior também devem estar presentes no cache de nível inferior. Cada componente de cache de nível superior é um subconjunto do componente de cache de nível inferior. Neste caso, como há uma duplicação de blocos, há algum desperdício de memória. No entanto, a verificação é mais rápida.^{[carece de fontes]}?

Sob uma política exclusiva, todos os componentes da hierarquia de cache são completamente exclusivos, de modo que qualquer elemento no cache de nível superior não estará presente em nenhum dos componentes de cache inferiores. Isso permite o uso completo da memória cache. No entanto, há uma alta latência de acesso à memória.

As políticas acima exigem um conjunto de regras a serem seguidas para implementá-las. Se nenhuma delas for forçada, a política de inclusão resultante é chamada de não inclusiva não exclusiva (NINE). Isso significa que o cache de nível superior pode ou não estar presente no cache de nível inferior.

Políticas de escrita

Existem duas políticas que definem a maneira como um bloco de cache modificado será atualizado na memória principal: write through e write back.^{[carece de fontes]}?

No caso da política write through, sempre que o valor do bloco de cache muda, ele também é modificado na hierarquia de memória de nível inferior. Esta política garante que os dados sejam armazenados com segurança, pois são escritos em toda a hierarquia.

No entanto, no caso da política write back, o bloco de cache alterado será atualizado na hierarquia de nível inferior apenas quando o bloco de cache for removido. Um "dirty bit" é anexado a cada bloco de cache e definido sempre que o bloco de cache é modificado. Durante a remoção, blocos com um dirty bit definido serão escritos na hierarquia de nível inferior. Sob esta política, há risco de perda de dados, pois a cópia mais recentemente alterada de um dado é armazenada apenas no cache e, portanto, algumas técnicas corretivas devem ser observadas.

No caso de uma escrita onde o byte não está presente no bloco de cache, o byte pode ser trazido para o cache conforme determinado por uma política write allocate ou write no-allocate. A política write allocate afirma que, no caso de uma falha de escrita, o bloco é buscado da memória principal e colocado no cache antes da escrita. Na política write no-allocate, se o bloco não for encontrado no cache, ele será escrito na hierarquia de memória de nível inferior sem trazer o bloco para o cache.

As combinações comuns das políticas são "write back, write allocate" e "write through, write no-allocate".

Compartilhado versus privado

Um cache privado é atribuído a um núcleo específico em um processador e não pode ser acessado por nenhum outro núcleo. Em algumas arquiteturas, cada núcleo tem seu próprio cache privado; isso cria o risco de blocos duplicados na arquitetura de cache de um sistema, resultando em utilização reduzida da capacidade. No entanto, este tipo de escolha de projeto em uma arquitetura de cache multicamadas também pode ser bom para uma menor latência de acesso aos dados.

Um cache compartilhado é um cache que pode ser acessado por múltiplos núcleos. Como é compartilhado, cada bloco no cache é único e, portanto, tem uma taxa de acerto maior, pois não haverá blocos duplicados. No entanto, a latência de acesso aos dados pode aumentar à medida que múltiplos núcleos tentam acessar o mesmo cache.

Em processadores multi-core, a escolha de projeto para tornar um cache compartilhado ou privado impacta o desempenho do processador. Na prática, o cache de nível superior L1 (ou às vezes L2) é implementado como privado e os caches de nível inferior são implementados como compartilhados. Este projeto fornece altas taxas de acesso para os caches de alto nível e baixas taxas de falha para os caches de nível inferior.

Intel Xeon Emerald Rapids (2024)

Até 64 núcleos:

• Cache L1 – 80 KB por núcleo
• Cache L2 – 2 MB por núcleo
• Cache L3 – 5 MB por núcleo (ou seja, até 320 MB no total)

Intel i5 Raptor Lake-HX (2024)

6 núcleos (desempenho | eficiência):

• Cache L1 – 128 KB por núcleo
• Cache L2 – 2 MB por núcleo | 4–8 MB semicompartilhado
• Cache L3 – 20–24 MB compartilhado

AMD EPYC 9684X (Zen 4, 2023)

96 núcleos:

• Cache L1 – 64 KB por núcleo
• Cache L2 – 1 MB por núcleo
• Cache L3 – 1152 MB compartilhado

Apple M1 Ultra (2022)

20 núcleos (4:1 núcleo "desempenho" | núcleo "eficiência"):

• Cache L1 – 320|192 KB por núcleo
• Cache L2 – 52 MB semicompartilhado
• Cache L3 – 96 MB compartilhado

AMD Zen 3 (2022)

6 a 16 núcleos:

• Cache L1 – 64 KB por núcleo
• Cache L2 – 1 MB por núcleo
• Cache L3 – 32 a 128 MB compartilhado

AMD Zen 2 (2019)

• Cache L1 – 32 KB de dados e 32 KB de instrução por núcleo, 8-vias
• Cache L2 – 512 KB por núcleo, 8-vias inclusivo
• Cache L3 – 16 MB local por CCX de 4 núcleos, 2 CCXs por chiplet, 16-vias não inclusivo. Até 64 MB em CPUs de desktop e 256 MB em CPUs de servidor

AMD Zen (2017)

• Cache L1 – 32 KB de dados e 64 KB de instrução por núcleo, 4-vias
• Cache L2 – 512 KB por núcleo, 4-vias inclusivo
• Cache L3 – 4 MB local e remoto por CCX de 4 núcleos, 2 CCXs por chiplet, 16-vias não inclusivo. Até 16 MB em CPUs de desktop e 64 MB em CPUs de servidor

Intel Kaby Lake (2016)

• Cache L1 (instrução e dados) – 64 KB por núcleo
• Cache L2 – 256 KB por núcleo
• Cache L3 – 2 MB a 8 MB compartilhado

Intel Broadwell (2014)

• Cache L1 (instrução e dados) – 64 KB por núcleo
• Cache L2 – 256 KB por núcleo
• Cache L3 – 2 MB a 6 MB compartilhado
• Cache L4 – 128 MB de eDRAM (apenas modelos Iris Pro)

IBM POWER7 (2010)

• Cache L1 (instrução e dados) – cada um com 64 bancos, cada banco com portas 2ª+1wr 32 KB, associativo de 8-vias, bloco de 128B, write through
• Cache L2 – 256 KB, 8-vias, bloco de 128B, write back, inclusivo do L1, latência de acesso de 2 ns
• Cache L3 – 8 regiões de 4 MB (total 32 MB), região local 6 ns, remota 30 ns, cada região associativa de 8-vias, matriz de dados DRAM, matriz de tags SRAM