I ettertid er det vanskelig å tro at ingen gadd å implementere et flerlags nevralt nettverk med grunnleggende stokastisk gradientnedstigning tilbake i 1997 på 3dfx Voodoo, et par år før til og med Nvidias første GPU i 1999. Brikkene var i utgangspunktet alle der for en liten LLM.

Hvis du kunne ha vist at det kunne generere utdrag av gyldig engelsk som ikke er i treningsdataene, kunne det ha fått nok oppmerksomhet fra datalingvistene til å grave mer. Kanskje vi kunne ha kommet til GPT-3-nivå år tidligere, selv om det var 100 ganger mer $/token

Jeg kjøpte akkurat det kortet i 1998 og brukte det til å spille GLQuake. Skulle ønske jeg i stedet hadde brukt den tiden til å lære mer lineær algebra og C++, fordi jeg allerede var interessert i nevrale nett på den tiden. Det er vanskelig å huske hvor umoderne "forbindelsesmetoder" var på den tiden.