Озираючись назад, важко повірити, що ніхто не спромігся реалізувати багатошарову нейронну мережу з базовим стохастичним градієнтним спуском ще в 1997 році на 3dfx Voodoo, за пару років навіть до першого GPU Nvidia в 1999 році. Шматочки в основному були всі для крихітного LLM.

Якби ви могли показати, що він може генерувати фрагменти дійсної англійської мови, яких немає в даних навчання, це могло б привернути достатньо уваги з боку комп'ютерних лінгвістів, щоб копнути більше. Можливо, ми могли б вийти на рівень GPT-3 роками раніше, навіть якби це було в 100 разів більше $/токен

Я купив саме цю карту в 1998 році і використовував її для гри в GLQuake. Шкода, що я використав цей час для вивчення лінійної алгебри та C++, тому що на той час я вже цікавився нейронними мережами. Важко згадати, наскільки вийшли з моди в той час «коннекціоністські» методи.