回想起来，真让人难以置信，1997年在3dfx Voodoo上居然没有人去实现一个带有基本随机梯度下降的多层神经网络，这比Nvidia的第一款GPU还早了几年，Nvidia的GPU是在1999年发布的。所有的要素基本上都已经具备了，可以用来构建一个小型的LLM。

如果你能展示它能够生成训练数据中没有的有效英语片段，那可能会引起计算语言学家的足够关注，让他们深入研究。也许我们本可以在几年之前就达到GPT-3级别的输出，即使那时每个令牌的成本是100倍。

我在1998年买了那张卡，并用它来玩GLQuake。真希望我当时能花更多时间学习线性代数和C++，因为那时我已经对神经网络感兴趣了。很难记得当时“连接主义”方法是多么不流行。