Чат-бот Replika AI звинувачують у неприйнятній поведінці щодо користувачів, зокрема неповнолітніх
Про це повідомляє видання LiveScience.
Чат-бот Replika AI налічує близько 10 мільйонів користувачів у всьому світі, запрошуючи інших приєднатися до них і знайти свою другу половинку за допомогою ШІ-компаньйона.
Однак дослідження, що базується на понад 150 000 відгуках у Google Play Store у США, виявило близько 800 випадків, коли користувачі стверджували, що чат-бот заходив надто далеко — впроваджував небажаний сексуальний контент у розмову, демонстрував «хижацьку» поведінку та ігнорував команди користувача зупинитися. Дослідники опублікували свої висновки 5 квітня на сервері препринтів arXiv, тому вони ще не пройшли рецензування.
Розробники припускають, що неадекватна поведінка чат-бота може бути наслідком його навчання, яке проводилося з використанням понад 100 мільйонів діалогів з Інтернету. У Replika запевняють, що відхиляли марну або шкідливу інформацію за допомогою краудсорсингу та алгоритмів класифікації, однак, на думку авторів дослідження, цього виявилося недостатньо.
Читайте по темі: Сили оборони відбили на фронті 216 атак противника
Дослідники також не виключають, що проблема може полягати в самій бізнес-моделі Replika. Платні платформи, які пропонують романтичні та інтимні стосунки, можуть використовувати ШІ, який буде включати сексуальний контент у діалоги з користувачами для їх залучення з метою підписки.
Автори дослідження також наголошують, що така поведінка моделей ШІ може бути особливо небезпечною, оскільки чимало користувачів звертаються до ШІ-компаньйонів за психологічною та емоційною підтримкою. Особливо це актуально, якщо врахувати, що частина користувачів, з якими намагався фліртувати Replika AI, пропонуючи селфі 18+ та ведучи відверті сексуальні розмови, були неповнолітніми.
Також деякі користувачі повідомляли, що чат-бот заявляв, ніби «бачить» їх і зберігає відео з камер їхніх смартфонів. На думку розробників, у цьому випадку йдеться про зухвалу брехню та галюцинації ШІ. Втім, така поведінка викликала паніку та безсоння у користувачів.
У дослідженні це явище названо «сексуальними домаганнями, викликаними ШІ». Дослідники вважають, що до нього слід ставитися так само серйозно, як і до домагань з боку людей, і закликають до суворішого контролю та регулювання.
Деякі з рекомендованих ними заходів включають: чіткі рамки згоди для розробки будь-якої взаємодії, що містить сильний емоційний або сексуальний контент; автоматичну модерацію в режимі реального часу (подібну до тієї, що використовується в месенджерах і автоматично позначає ризиковану взаємодію); а також налаштовувані користувачем параметри фільтрації та контролю.
Распечатать
