Природна розмова включає в себе переривання і розмови з людьми, що LLM важко змоделювати у вигляді єдиної авторегресійної послідовності. Я впевнений, що ви можете зайти досить далеко, створивши текстову послідовність за сценарієм фільму, наприклад, з перервами на середині речення, але здається, що реальне рішення включало б паралельні потоки слухання та мислення з розмовою в черзі на паузи або з підвищенням пріоритету переривання. Змішування токенів з різних потоків і виконання чогось кастомного з увагою здається правдоподібним.