Lei de escala neural 📖 Wikipedia

Em aprendizado de máquina, uma lei de escala neural é uma lei de escala empírica que descreve como o desempenho de uma rede neural muda conforme fatores principais são aumentados ou reduzidos. Esses fatores incluem tipicamente o número de parâmetros, o tamanho do conjunto de dados de treinamento,^[1][2] e o custo de treinamento. Alguns modelos também exibem ganhos de desempenho ao escalar a inferência por meio do aumento do computo em tempo de teste (test-time compute, TTC), estendendo as leis de escala neural além do treinamento para a fase de implantação.^[3]

Em geral, um modelo de aprendizado profundo pode ser caracterizado por quatro parâmetros: tamanho do modelo, tamanho do conjunto de dados de treinamento, custo de treinamento e a taxa de erro pós-treinamento (por exemplo, a taxa de erro no conjunto de teste). Cada uma dessas variáveis pode ser definida como um número real, geralmente escrito como ${\displaystyle N,D,C,L}$ (respectivamente: contagem de parâmetros, tamanho do conjunto de dados, custo computacional e perda).

Uma lei de escala neural é uma lei estatística empírica ou teórica entre esses parâmetros. Existem também outros parâmetros com outras leis de escala.

Na maioria dos casos, o tamanho do modelo é simplesmente o número de parâmetros. No entanto, surge uma complicação com o uso de modelos esparsos, como modelos de mistura de especialistas.^[4] Em modelos esparsos, durante a inferência, apenas uma fração de seus parâmetros é utilizada. Em comparação, a maioria dos outros tipos de redes neurais, como os modelos transformadores, sempre usa todos os seus parâmetros durante a inferência.

O tamanho do conjunto de dados de treinamento geralmente é quantificado pelo número de pontos de dados contidos nele. Conjuntos de dados maiores são tipicamente preferidos, pois fornecem uma fonte de informação mais rica e diversificada a partir da qual o modelo pode aprender. Isso pode levar a um melhor desempenho de generalização quando o modelo é aplicado a dados novos e não vistos.^[5] No entanto, aumentar o tamanho do conjunto de dados de treinamento também aumenta os recursos computacionais e o tempo necessários para o treinamento do modelo.

Com o método "pré-treinar e depois ajustar fino" (pretrain, then finetune) usado para a maioria dos modelos de linguagem grandes, existem dois tipos de conjunto de dados de treinamento: o conjunto de dados de pré-treinamento e o conjunto de dados de ajuste fino. Seus tamanhos têm efeitos diferentes no desempenho do modelo. Geralmente, o conjunto de dados de ajuste fino tem menos de 1% do tamanho do conjunto de dados de pré-treinamento.^[6]

Em alguns casos, uma pequena quantidade de dados de alta qualidade é suficiente para o ajuste fino, e mais dados não melhoram necessariamente o desempenho.^[6]

Muitas leis de escala, devido à sua natureza inerente de retornos decrescentes, valorizam os dados com base em uma função submodular de conjunto (submodular set function), conforme mostrado em um artigo^[7] sobre este tópico.

O custo de treinamento é tipicamente medido em termos de tempo (quanto tempo leva para treinar o modelo) e recursos computacionais (quanta capacidade de processamento e memória são necessárias). É importante notar que o custo do treinamento pode ser significativamente reduzido com algoritmos de treinamento eficientes, bibliotecas de software otimizadas e computação paralela em hardware especializado, como GPUs ou TPUs.

O custo de treinamento de um modelo de rede neural é uma função de vários fatores, incluindo tamanho do modelo, tamanho do conjunto de dados de treinamento, complexidade do algoritmo de treinamento e os recursos computacionais disponíveis.^[5] Em particular, dobrar o tamanho do conjunto de dados de treinamento não necessariamente dobra o custo do treinamento, porque pode-se treinar o modelo várias vezes sobre o mesmo conjunto de dados (cada uma sendo uma "época").

O desempenho de um modelo de rede neural é avaliado com base em sua capacidade de prever com precisão a saída dados alguns dados de entrada. As métricas comuns para avaliar o desempenho do modelo incluem:^[5]

• Log-verossimilhança negativa por token (logaritmo da perplexidade) para modelagem de linguagem;
• Acurácia, precisão, revocação e pontuação F1 para tarefas de classificação;
• Erro quadrático médio (MSE) ou erro absoluto médio (MAE) para tarefas de regressão;
• Classificação Elo em uma competição contra outros modelos, como em jogos^[10] ou preferência por um juiz humano.^[11]

O desempenho pode ser melhorado usando mais dados, modelos maiores, diferentes algoritmos de treinamento, regularizando o modelo para evitar sobreajuste e parada antecipada usando um conjunto de validação.

Quando o desempenho é um número limitado ao intervalo ${\displaystyle [0,1]}$, como acurácia, precisão, etc., ele frequentemente escala como uma função sigmoide do custo, como visto nas figuras.

O artigo de 2017^[2] é um ponto de referência comum para leis de escala neural ajustadas por análise estatística em dados experimentais. Trabalhos anteriores antes dos anos 2000, conforme citados no artigo, eram teóricos ou ordens de magnitude menores em escala. Enquanto trabalhos anteriores geralmente encontravam o expoente de escala como ${\displaystyle L\propto D^{-\alpha }}$, com ${\displaystyle \alpha \in \{0.5,1,2\}}$, o artigo descobriu que ${\displaystyle \alpha \in [0.07,0.35]}$.

Dos fatores que variaram, apenas a tarefa pode alterar o expoente ${\displaystyle \alpha }$. Alterar os otimizadores, regularizadores e funções de perda da arquitetura alteraria apenas o fator de proporcionalidade, não o expoente. Por exemplo, para a mesma tarefa, uma arquitetura pode ter ${\displaystyle L=1000D^{-0.3}}$ enquanto outra pode ter ${\displaystyle L=500D^{-0.3}}$. Eles também descobriram que, para uma determinada arquitetura, o número de parâmetros necessário para atingir os níveis mais baixos de perda, dado um tamanho fixo do conjunto de dados, cresce como ${\displaystyle N\propto D^{\beta }}$ para outro expoente ${\displaystyle \beta }$.

Eles estudaram tradução automática com LSTM (${\displaystyle \alpha \sim 0.13}$), modelagem de linguagem generativa com LSTM (${\displaystyle \alpha \in [0.06,0.09],\beta \approx 0.7}$), classificação ImageNet com ResNet (${\displaystyle \alpha \in [0.3,0.5],\beta \approx 0.6}$) e reconhecimento de fala com duas arquiteturas híbridas (LSTMs complementadas por CNNs ou um decodificador de atenção) (${\displaystyle \alpha \approx 0.3}$).

Uma análise de 2020^[12] estudou relações estatísticas entre ${\displaystyle C,N,D,L}$ em uma ampla gama de valores e encontrou leis de escala semelhantes, na faixa de ${\displaystyle N\in [10^{3},10^{9}]}$, ${\displaystyle C\in [10^{12},10^{21}]}$, e em várias modalidades (texto, vídeo, imagem, texto para imagem, etc.).^[12]

Em particular, as leis de escala encontradas são (Tabela 1 de^[12]):

• Para cada modalidade, eles fixaram um dos dois ${\displaystyle C,N}$ e variaram o outro (${\displaystyle D}$ é variado junto usando ${\displaystyle D=C/6N}$), a perda de teste alcançável satisfaz$${\displaystyle L=L_{0}+\left({\frac {x_{0}}{x}}\right)^{\alpha }}$$onde ${\displaystyle x}$ é a variável variada, e ${\displaystyle L_{0},x_{0},\alpha }$ são parâmetros a serem encontrados por ajuste estatístico. O parâmetro ${\displaystyle \alpha }$ é o mais importante.
  • Quando ${\displaystyle N}$ é a variável variada, ${\displaystyle \alpha }$ varia de ${\displaystyle 0.037}$ a ${\displaystyle 0.24}$ dependendo da modalidade do modelo. Isso corresponde ao ${\displaystyle \alpha =0.34}$ do artigo de escala Chinchilla.
  • Quando ${\displaystyle C}$ é a variável variada, ${\displaystyle \alpha }$ varia de ${\displaystyle 0.048}$ a ${\displaystyle 0.19}$ dependendo da modalidade do modelo. Isso corresponde ao ${\displaystyle \beta =0.28}$ do artigo de escala Chinchilla.
• Dado um orçamento computacional fixo, a contagem ideal de parâmetros do modelo é consistentemente em torno de$${\displaystyle N_{opt}(C)=\left({\frac {C}{5\times 10^{-12}{\text{petaFLOP-dia}}}}\right)^{0.7}=9.0\times 10^{-7}C^{0.7}}$$O parâmetro ${\displaystyle 9.0\times 10^{-7}}$ varia por um fator de até 10 para diferentes modalidades. O parâmetro expoente ${\displaystyle 0.7}$ varia de ${\displaystyle 0.64}$ a ${\displaystyle 0.75}$ para diferentes modalidades. Esse expoente corresponde ao ${\displaystyle \approx 0.5}$ do artigo de escala Chinchilla.
• É "fortemente sugerido" (mas não verificado estatisticamente) que ${\displaystyle D_{opt}(C)\propto N_{opt}(C)^{0.4}\propto C^{0.28}}$. Esse expoente corresponde ao ${\displaystyle \approx 0.5}$ do artigo de escala Chinchilla.

A lei de escala de ${\displaystyle L=L_{0}+(C_{0}/C)^{0.048}}$ foi confirmada durante o treinamento do GPT-3 (Figura 3.1^[13]).

Uma lei de escala particular ("escala Chinchilla") afirma que, para um modelo de linguagem grande (LLM) treinado autoregressivamente por uma época, com um agendamento de taxa de aprendizado cosseno, temos:^[15]$${\displaystyle {\begin{cases}C=C_{0}ND\\L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$onde as variáveis são

• ${\displaystyle C}$ é o custo de treinamento do modelo, medido em operações de ponto flutuante (FLOPs).
• ${\displaystyle D}$ é o número de tokens no conjunto de treinamento.
• ${\displaystyle L}$ é a perda média de log-verossimilhança negativa por token (nats/token), alcançada pelo LLM treinado no conjunto de dados de teste.
  • ${\displaystyle L_{0}}$ representa a perda de um processo generativo ideal nos dados de teste.
  • ${\displaystyle {\frac {A}{N^{\alpha }}}}$ captura o fato de que um modelo de linguagem Transformer com ${\displaystyle N}$ parâmetros tem desempenho inferior ao processo generativo ideal.
  • ${\displaystyle {\frac {B}{D^{\beta }}}}$ captura o fato de que o modelo treinado em ${\displaystyle D}$ tokens tem desempenho inferior ao processo generativo ideal.

e os parâmetros estatísticos são

• ${\displaystyle C_{0}=6}$, significando que custa 6 FLOPs por parâmetro para treinar em um token. Isso foi estimado por Kaplan et al.^[16] Observe que o custo de treinamento é muito maior do que o custo de inferência, pois o treinamento envolve passes diretos e retropropagação, enquanto a inferência custa de 1 a 2 FLOPs por parâmetro para inferir em um token.
• ${\displaystyle \alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69}$.

Embora Besiroglu et al.^[17] afirmem que a estimativa estatística está ligeiramente incorreta e deveria ser ${\displaystyle \alpha =0.35,\beta =0.37,A=482.01,B=2085.43,L_{0}=1.82}$.

As leis estatísticas foram ajustadas a dados experimentais com ${\displaystyle N\in [7\times 10^{7},1.6\times 10^{10}],D\in [5\times 10^{9},5\times 10^{11}],C\in [10^{18},10^{24}]}$.

Como existem 4 variáveis relacionadas por 2 equações, impor 1 restrição adicional e 1 objetivo de otimização adicional permite resolver todas as quatro variáveis. Em particular, para qualquer ${\displaystyle C}$ fixo, podemos resolver exclusivamente todas as 4 variáveis que minimizam ${\displaystyle L}$. Isso nos fornece o ${\displaystyle D_{opt}(C),N_{opt}(C)}$ ideal para qualquer ${\displaystyle C}$ fixo:$${\displaystyle N_{opt}(C)=G\left({\frac {C}{6}}\right)^{a},\quad D_{opt}(C)=G^{-1}\left({\frac {C}{6}}\right)^{b},\quad {\text{ onde }}\quad G=\left({\frac {\alpha A}{\beta B}}\right)^{\frac {1}{\alpha +\beta }},\quad a={\frac {\beta }{\alpha +\beta }}{\text{, e }}b={\frac {\alpha }{\alpha +\beta }}{\text{. }}}$$Inserindo os valores numéricos, obtemos o tamanho do modelo e o tamanho do conjunto de dados de treinamento "eficiente Chinchilla", bem como a perda de teste alcançável:$${\displaystyle {\begin{cases}N_{opt}(C)=0.6\;C^{0.45}\\D_{opt}(C)=0.3\;C^{0.55}\\L_{opt}(C)=1070\;C^{-0.154}+1.7\end{cases}}}$$Da mesma forma, podemos encontrar o tamanho ideal do conjunto de dados de treinamento e o orçamento computacional de treinamento para qualquer tamanho fixo de parâmetro do modelo, e assim por diante.

Existem outras estimativas para o tamanho do modelo e tamanho do conjunto de dados de treinamento "eficiente Chinchilla". O acima é baseado em um modelo estatístico de ${\displaystyle L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}}$. Também se pode ajustar diretamente uma lei estatística para ${\displaystyle D_{opt}(C),N_{opt}(C)}$ sem passar pelo desvio, para o qual se obtém:$${\displaystyle {\begin{cases}N_{opt}(C)=0.1\;C^{0.5}\\D_{opt}(C)=1.7\;C^{0.5}\end{cases}}}$$ou conforme tabelado:

${\displaystyle N_{opt}(C)}$	${\displaystyle C}$ / FLOP	${\displaystyle C}$ / FLOPs do treinamento do Gopher	${\displaystyle D_{opt}(C)}$
400 milhões	1,92e+19	1/29968	8,0 bilhões
1 bilhão	1,21e+20	1/5706	20,2 bilhões
10 bilhões	1,23e+22	1/2819	205,1 bilhões
67 bilhões	5,76e+23	1	1,5 trilhão
175 bilhões	3,85e+24	6,7	3,7 trilhões
280 bilhões	9,90e+24	17,2	5,9 trilhões
520 bilhões	3,43e+25	59,5	11,0 trilhões
1 trilhão	1,27e+26	221,3	21,2 trilhões
10 trilhões	1,30e+28	22515,9	216,2 trilhões

A análise da lei de escala Chinchilla para treinamento de modelos de linguagem transformadores sugere que, para um dado orçamento de computação de treinamento (${\displaystyle C}$), para atingir a perda de pré-treinamento mínima para esse orçamento, o número de parâmetros do modelo (${\displaystyle N}$) e o número de tokens de treinamento (${\displaystyle D}$) devem ser escalonados em proporções iguais, ${\displaystyle N_{opt}(C)\propto C^{0.5},D_{opt}(C)\propto C^{0.5}}$. Essa conclusão difere da análise conduzida por Kaplan et al.,^[16] que descobriu que ${\displaystyle N}$ deve ser aumentado mais rapidamente do que ${\displaystyle D}$, ${\displaystyle N_{opt}(C)\propto C^{0.73},D_{opt}(C)\propto C^{0.27}}$.

Essa discrepância pode ser atribuída principalmente ao fato de os dois estudos usarem métodos diferentes para medir o tamanho do modelo. Kaplan et al.:^[18]

• não contaram os parâmetros na camada de embedding de token, o que, quando analisado em tamanhos de modelo menores, leva a coeficientes enviesados;
• estudaram modelos menores do que o grupo Chinchilla, amplificando o efeito;
• assumiram que ${\displaystyle L_{\infty }=0}$.

Efeitos secundários também surgem devido a diferenças no ajuste de hiperparâmetros e nos agendamentos de taxa de aprendizado. Kaplan et al.:^[19]

• usaram um agendamento de aquecimento muito longo para modelos menores, tornando-os aparentemente menos eficientes;
• não ajustaram completamente os hiperparâmetros de otimização.

Como a escala Chinchilla tem sido o ponto de referência para muitas execuções de treinamento em grande escala, houve um esforço concomitante para ir "além da escala Chinchilla", ou seja, modificar parte do pipeline de treinamento para obter a mesma perda com menos esforço, ou deliberadamente treinar por mais tempo do que o "ótimo Chinchilla".

Geralmente, o objetivo é tornar o expoente da lei de escala maior, o que significa que a mesma perda pode ser treinada com muito menos computação. Por exemplo, filtrar dados pode tornar o expoente da lei de escala maior.^[20]

Outra vertente de pesquisa estuda como lidar com dados limitados, pois, de acordo com as leis de escala Chinchilla, o tamanho do conjunto de dados de treinamento para os maiores modelos de linguagem já se aproxima do que está disponível na internet.^[21] Descobriu-se que aumentar o conjunto de dados com uma mistura de "objetivos de denoising" construídos a partir do conjunto de dados melhora o desempenho.^[22] estuda a escala ideal quando todos os dados disponíveis já estão esgotados (como em línguas raras), de modo que se deve treinar várias épocas sobre o mesmo conjunto de dados (enquanto a escala Chinchilla requer apenas uma época). A série Phi de pequenos modelos de linguagem foi treinada em dados semelhantes a livros didáticos gerados por grandes modelos de linguagem, para os quais os dados são limitados apenas pela quantidade de computação disponível.^[23]

A otimalidade Chinchilla foi definida como "ótima para computação de treinamento", enquanto em modelos reais de qualidade de produção, haverá muita inferência após o treinamento estar completo. "Sobretreinar" durante o treinamento significa melhor desempenho durante a inferência.^[24] Os modelos LLaMA foram sobretreinados por esse motivo. Estudos subsequentes descobriram leis de escala no regime de sobretreinamento, para tamanhos de conjunto de dados até 32 vezes maiores que o ótimo Chinchilla.^[25]

Uma análise de 2022^[26] descobriu que muitos comportamentos de escala de redes neurais artificiais seguem uma forma funcional de lei de potência suavemente quebrada:

${\displaystyle y=a+{\bigg (}bx^{-c_{0}}{\bigg )}\prod _{i=1}^{n}\left(1+\left({\frac {x}{d_{i}}}\right)^{1/f_{i}}\right)^{-c_{i}*f_{i}}}$

em que ${\displaystyle x}$ se refere à quantidade que está sendo escalada (isto é, ${\displaystyle C}$, ${\displaystyle N}$, ${\displaystyle D}$, número de etapas de treinamento, número de etapas de inferência ou tamanho da entrada do modelo) e ${\displaystyle y}$ se refere à métrica de avaliação de desempenho a jusante (ou montante) de interesse (por exemplo, erro de predição, entropia cruzada, erro de calibração, AUROC, pontuação BLEU percentual, pontuação F1, recompensa, classificação Elo, taxa de resolução ou pontuação FID) em configurações zero-shot, com prompt ou ajuste fino. Os parâmetros ${\displaystyle a,b,c_{0},c_{1}...c_{n},d_{1}...d_{n},f_{1}...f_{n}}$ são encontrados por ajuste estatístico.

Em um gráfico log-log, quando ${\displaystyle f_{i}}$ não é muito grande e ${\displaystyle a}$ é subtraído do eixo y, essa forma funcional se parece com uma série de segmentos lineares conectados por arcos; as ${\displaystyle n}$ transições entre os segmentos são chamadas de "quebras" (breaks), daí o nome leis de escala neurais quebradas (broken neural scaling laws, BNSL).

Os cenários em que os comportamentos de escala das redes neurais artificiais foram encontrados para seguir essa forma funcional incluem visão em grande escala, linguagem, áudio, vídeo, difusão, modelagem generativa, aprendizado multimodal, aprendizado contrastivo, alinhamento de IA, capacidades de IA, robótica, generalização fora da distribuição (OOD), aprendizado contínuo, aprendizado por transferência, estimação de incerteza / calibração, detecção fora da distribuição, robustez adversarial, destilação, esparsidade, recuperação, quantização, poda, justiça, moléculas, programação/codificação de computador, problemas matemáticos de palavras, aritmética, habilidades emergentes, dupla descida, aprendizado supervisionado, aprendizado não supervisionado/auto-supervisionado e aprendizado por reforço profundo (agente único e multiagente).

As arquiteturas para as quais os comportamentos de escala das redes neurais artificiais foram encontrados para seguir essa forma funcional incluem redes neurais residuais, transformadores, MLPs, MLP-mixers, redes neurais recorrentes, redes neurais convolucionais, redes neurais de grafos, U-nets, modelos codificador-decodificador (e apenas codificador) (e apenas decodificador), ensembles (e não ensembles), modelos MoE (mistura de especialistas) (e não MoE) e modelos podados esparsos (e não podados não esparsos).

Além de aumentar a computação de treinamento, também se pode aumentar a computação de inferência (ou "computação em tempo de teste"^[3]). Como exemplo, a classificação Elo do AlphaGo melhora continuamente à medida que ele pode gastar mais tempo em sua Busca em Árvore de Monte Carlo por jogada.^[27] Para o AlphaGo Zero, aumentar o Elo em 120 requer o dobro do tamanho do modelo e do treinamento, ou o dobro da busca em tempo de teste.^[28] Da mesma forma, um modelo de linguagem para resolver desafios de codificação em nível de competição, AlphaCode, melhorou consistentemente (log-linearmente) em desempenho com mais tempo de busca.^[29]

Para o Hex, 10 vezes a computação de tempo de treinamento troca por 15 vezes a computação de tempo de teste.^[10] Para o Libratus para no-limit Texas hold 'em frente a frente, e Cicero para Diplomacy, e muitos outros jogos abstratos de informação parcial, a busca em tempo de inferência melhora o desempenho em uma proporção de troca semelhante, por até 100.000 vezes o aumento efetivo na computação de tempo de treinamento.^[28]

Em 2024, o relatório do OpenAI o1 documentou que o desempenho do o1 melhorou consistentemente com o aumento da computação em tempo de treinamento e em tempo de teste, e forneceu inúmeros exemplos de escala de computação em tempo de teste em matemática, raciocínio científico e tarefas de codificação.^[30][31]

Um método para aumentar a computação em tempo de teste é a supervisão baseada em processo, onde um modelo gera uma cadeia de raciocínio passo a passo para responder a uma pergunta, e outro modelo (humano ou IA) fornece uma pontuação de recompensa em algumas das etapas intermediárias, não apenas na resposta final. A supervisão baseada em processo pode ser escalada arbitrariamente usando pontuação de recompensa sintética sem outro modelo, por exemplo, executando rollouts de Monte Carlo e pontuando cada etapa no raciocínio de acordo com a probabilidade de levar à resposta correta. Outro método é por modelos de revisão, que são modelos treinados para resolver um problema várias vezes, cada vez revisando a tentativa anterior.^[32]

Transformadores de visão, semelhantes aos transformadores de linguagem, exibem leis de escala. Uma pesquisa de 2022 treinou transformadores de visão, com contagens de parâmetros ${\displaystyle N\in [5\times 10^{6},2\times 10^{9}]}$, em conjuntos de imagens de tamanhos ${\displaystyle D\in [3\times 10^{7},3\times 10^{9}]}$, para computação ${\displaystyle C\in [0.2,10^{4}]}$ (em unidades de TPUv3-core-dias).^[33]

Após treinar o modelo, ele é ajustado fino no conjunto de treinamento ImageNet. Seja ${\displaystyle L}$ a probabilidade de erro do modelo ajustado fino classificando o conjunto de teste ImageNet. Eles descobriram ${\displaystyle \min _{N,D}L=0.09+{\frac {0.26}{(C+0.01)^{0.35}}}}$.

Ghorbani, Behrooz et al.^[34] estudaram leis de escala para tradução automática neural (especificamente, inglês como fonte e alemão como alvo) em modelos Transformer codificador-decodificador, treinados até a convergência nos mesmos conjuntos de dados (portanto, não ajustaram leis de escala para custo computacional ${\displaystyle C}$ ou tamanho do conjunto de dados ${\displaystyle D}$). Eles variaram ${\displaystyle N\in [10^{8},3.5\times 10^{9}]}$. Encontraram três resultados:

• ${\displaystyle L}$ é uma função de lei de escala de ${\displaystyle N_{E},N_{D}}$, onde ${\displaystyle N_{E},N_{D}}$ são a contagem de parâmetros do codificador e decodificador. Não é simplesmente uma função da contagem total de parâmetros ${\displaystyle N=N_{E}+N_{D}}$. A função tem a forma ${\displaystyle L\left(N_{e},N_{d}\right)=\alpha \left({\frac {{\bar {N}}_{e}}{N_{e}}}\right)^{p_{e}}\left({\frac {{\bar {N}}_{d}}{N_{d}}}\right)^{p_{d}}+L_{\infty }}$, onde ${\displaystyle \alpha ,p_{e},p_{d},L_{\infty },{\bar {N}}_{e},{\bar {N}}_{d}}$ são parâmetros ajustados. Eles descobriram que ${\displaystyle N_{d}/N\approx 0.55}$ minimiza a perda se ${\displaystyle N}$ for mantido fixo.
• ${\displaystyle L}$ "satura" (isto é, atinge ${\displaystyle L_{\infty }}$) para modelos menores quando os conjuntos de dados de treinamento e teste são "fonte-naturais" do que "alvo-naturais". Um ponto de dados "fonte-natural" significa um par de frases inglês-alemão, e o modelo é solicitado a traduzir a frase em inglês para alemão, e a frase em inglês é escrita por um escritor de inglês natural, enquanto a frase em alemão é traduzida da frase em inglês por um tradutor automático.^[35] Para construir os dois tipos de conjuntos de dados, os autores coletaram frases naturais em inglês e alemão online e depois usaram tradução automática para gerar suas traduções.
• À medida que os modelos crescem, os modelos treinados em conjuntos de dados fonte-originais podem atingir baixa perda, mas pontuação BLEU ruim. Em contraste, os modelos treinados em conjuntos de dados alvo-originais atingem baixa perda e boa pontuação BLEU em conjunto (Figura 10, 11^[34]).

Os autores hipotetizam que conjuntos de dados fonte-naturais têm frases alvo uniformes e monótonas, e assim um modelo treinado para prever as frases alvo rapidamente se sobreajustaria.

^[36] treinaram Transformers para traduções automáticas com tamanhos ${\displaystyle N\in [4\times 10^{5},5.6\times 10^{7}]}$ em tamanhos de conjunto de dados ${\displaystyle D\in [6\times 10^{5},6\times 10^{9}]}$. Eles descobriram que a lei de escala de Kaplan et al. (2020)^[16] se aplicava à tradução automática: ${\displaystyle L(N,D)=\left[\left({\frac {N_{C}}{N}}\right)^{\frac {\alpha _{N}}{\alpha _{D}}}+{\frac {D_{C}}{D}}\right]^{\alpha _{D}}}$. Eles também descobriram que a pontuação BLEU escala como ${\displaystyle BLEU\approx Ce^{-kL}}$.

Hernandez, Danny et al.^[37] estudaram leis de escala para aprendizado por transferência em modelos de linguagem. Eles treinaram uma família de Transformers de três maneiras:

• pré-treinamento em inglês, ajuste fino em Python;
• pré-treinamento em uma mistura igual de inglês e Python, ajuste fino em Python;
• treinamento em Python.

A ideia é que o pré-treinamento em inglês deve ajudar o modelo a atingir baixa perda em um conjunto de teste de texto Python. Suponha que o modelo tenha contagem de parâmetros ${\displaystyle N}$, e após ser ajustado fino em ${\displaystyle D_{F}}$ tokens Python, atinja alguma perda ${\displaystyle L}$. Dizemos que sua "contagem de tokens transferidos" é ${\displaystyle D_{T}}$, se outro modelo com o mesmo ${\displaystyle N}$ atingir o mesmo ${\displaystyle L}$ após treinar em ${\displaystyle D_{F}+D_{T}}$ tokens Python.

Eles descobriram ${\displaystyle D_{T}=1.9e4\left(D_{F}\right)^{.18}(N)^{.38}}$ para pré-treinamento em texto inglês, e ${\displaystyle D_{T}=2.1e5\left(D_{F}\right)^{.096}(N)^{.38}}$ para pré-treinamento em inglês e código não-Python.

Kumar et al.^[38] estudam leis de escala para precisão numérica no treinamento de modelos de linguagem. Eles treinam uma família de modelos de linguagem com pesos, ativações e cache KV em precisão numérica variável, tanto em tipo inteiro quanto em ponto flutuante, para medir os efeitos na perda em função da precisão. Para o treinamento, sua lei de escala considera a menor precisão agrupando os efeitos da precisão em uma "contagem efetiva de parâmetros" geral que governa a escala da perda, usando a parametrização ${\displaystyle N\mapsto N_{\text{eff}}(P)=N(1-e^{-P/\gamma })}$. Isso ilustra como o treinamento em menor precisão degrada o desempenho ao reduzir a capacidade real do modelo de uma maneira que varia exponencialmente com os bits.

Para inferência, eles descobrem que o sobretreinamento extremo de modelos de linguagem além da otimalidade Chinchilla pode levar os modelos a serem mais sensíveis à quantização, uma técnica padrão para aprendizado profundo eficiente. Isso é demonstrado observando que a degradação na perda devido à quantização de pesos aumenta como uma lei de potência aproximada na proporção token/parâmetro ${\displaystyle D/N}$ vista durante o pré-treinamento, de modo que modelos pré-treinados em orçamentos de token extremos podem ter pior desempenho em termos de perda de validação do que aqueles treinados em orçamentos de token mais modestos se a quantização pós-treinamento for aplicada. Outros trabalhos que examinam os efeitos do sobretreinamento incluem Sardana et al.^[39] e Gadre et al.^[40]

Xiao et al.^[9] consideraram a eficiência de parâmetros ("densidade") dos modelos ao longo do tempo. A ideia é que, com o tempo, os pesquisadores descobririam modelos que usam seus parâmetros de forma mais eficiente, no sentido de que modelos com o mesmo desempenho podem ter menos parâmetros.

Um modelo pode ter uma contagem real de parâmetros ${\displaystyle N}$, definida como o número real de parâmetros no modelo, e uma contagem de parâmetros "efetiva" ${\displaystyle {\hat {N}}}$, definida como quantos parâmetros um modelo bem conhecido anteriormente teria levado para atingir o mesmo desempenho em algumas referências, como MMLU. ${\displaystyle {\hat {N}}}$ não é medido diretamente, mas sim medindo o desempenho real do modelo ${\displaystyle S}$ e depois inserindo-o de volta em uma lei de escala previamente ajustada, como a lei de escala Chinchilla, para obter qual ${\displaystyle {\hat {N}}}$ seria necessário para atingir esse desempenho ${\displaystyle S}$, de acordo com essas leis de escala previamente ajustadas.

Uma lei de densificação afirma que ${\displaystyle \ln \left({\frac {\hat {N}}{N}}\right)_{max}=At+B}$, onde ${\displaystyle t}$ é o tempo real, medido em dias.

• Modelo de linguagem grande
• Modelo fundação
• Inteligência geral artificial
• Hipótese de Hilberg