Em retrospectiva, é difícil acreditar que ninguém se preocupou em implementar uma rede neural de múltiplas camadas com um básico algoritmo de descida de gradiente estocástico em 1997 na 3dfx Voodoo, alguns anos antes do primeiro GPU da Nvidia em 1999. As peças estavam basicamente todas lá para um pequeno LLM.

Se você pudesse ter mostrado que poderia gerar trechos de inglês válido que não estavam nos dados de treinamento, isso poderia ter atraído atenção suficiente dos linguistas computacionais para investigar mais. Talvez pudéssemos ter alcançado a produção no nível do GPT-3 anos mais cedo, mesmo que fosse 100x mais $/token.

Comprei esse cartão exato em 1998 e usei-o para jogar GLQuake. Gostaria de ter usado esse tempo para aprender mais sobre álgebra linear e C++, porque já estava interessado em redes neurais na época. É difícil lembrar o quão fora de moda os métodos "conexistas" estavam na época.