Поширити Джерело: online.ua
У рамках великого дослідження від Microsoft Research та Salesforce стало відомо, що поширені чат-боти ШІ стають “менш кмітливими” після довгого спілкування з людьми. Важливо усвідомлювати, що загальний рівень похибок чат-ботів може збільшитися більш ніж на 100% при аналізі понад 200 тисяч переписок.
Ключові тези:
- Жодна з моделей ШІ поки не готова до тривалої природної людської комунікації.
- Не слід розглядати ШІ як джерело абсолютної та життєво важливої інформації.
Взаємодія ШІ та людей спричинила несподівані наслідки
Зараз великі мовні моделі знаходяться на вершині своєї популярності — їхніми послугами користуються сотні мільйонів людей у різних куточках світу.
Однак користувачі все частіше зустрічаються з "галюцинаціями" та невірними відповідями під час комунікації з чат-ботами.
Завдяки дослідженню Microsoft та Salesforce нарешті вдалося з’ясувати, що насправді відбувається з популярними ШІ, пише windowscentral.
Як з’ясувалося, навіть найкращі нейромережі часто “дезорієнтуються” під час розмови, коли завдання розбивається на звичайний людський діалог з декількох реплік.
Експерти вирішили проаналізувати понад 200 000 таких діалогів за участю GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet та DeepSeek R1.
Так, стало відомо, що в рамках роботи з окремими запитами згадані моделі демонструють понад 90% вдалих відповідей.
Однак під час тривалих розмов з уточненнями та додатковими питаннями показник зменшується до 65%.
Значне погіршення якості у довгих розмовах не означає, що моделі “стають дурнішими” в прямому сенсі — радше, це вказує на їхню обмеженість в утриманні та вірній інтерпретації великого обсягу інформації в процесі діалогу.