Ripensando, è difficile credere che nessuno si sia preoccupato di implementare una rete neurale multilivello con un semplice gradiente stocastico nel 1997 sulla 3dfx Voodoo, un paio d'anni prima del primo GPU di Nvidia nel 1999. I pezzi erano praticamente tutti lì per un piccolo LLM.

Se avessi potuto dimostrare che poteva generare frammenti di inglese valido non presenti nei dati di addestramento, questo avrebbe potuto attirare abbastanza attenzione da parte dei linguisti computazionali per approfondire di più. Forse avremmo potuto raggiungere un output a livello di GPT-3 anni prima, anche se costava 100 volte di più $/token.

Ho comprato quella stessa scheda nel 1998 e l'ho usata per giocare a GLQuake. Vorrei aver invece usato quel tempo per imparare di più sull'algebra lineare e sul C++, perché ero già interessato alle reti neurali all'epoca. È difficile ricordare quanto fossero fuori moda i metodi "connectionist" in quel periodo.