Пользователи заметили, что o1 от OpenAI может неконтролируемо переключаться на китайский и другие языки во время решения задач

Исследователи предполагают, что причина не только в иностранных данных для обучения, пишет TechCrunch.

Источник: UnknownEssence
  • После выхода модели рассуждений o1 и продвинутой версии o1-pro от OpenAI в сети появились сообщения о том, что они могут расписывать ход решения на китайском, хинди и других языках, даже если весь диалог вёлся на английском.
Часть «рассуждений» модели на хинди. Источник: <a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fwww.reddit.com%2Fr%2FChatGPT%2Fcomments%2F1fsfpfm%2Fwhy_did_o1_randomly_start_thinking_in_hindi%2F%3Futm_source%3Dshare%26amp%3Butm_medium%3Dweb3x%26amp%3Butm_name%3Dweb3xcss%26amp%3Butm_term%3D1%26amp%3Butm_content%3Dshare_button&postId=1756351" rel="nofollow noreferrer noopener" target="_blank">Phoenixmusicman</a>
Часть «рассуждений» модели на хинди. Источник: Phoenixmusicman
  • OpenAI «не признала» и не объяснила поведение o1, пишет TechCrunch.

Причины, почему модель может переключаться на другие языки

  • Исследователь из Google DeepMind Тед Сяо заявил, что «из-за доступности и стоимости» OpenAI использует сторонние китайские сервисы для разметки данных — маркировки релевантных изображений, видео и текстов при обучении моделей.
  • Также o1 может использовать языки, которые считает эффективными для достижения разных целей, так как «не знает, что такое язык или что языки бывают разными», — рассказал TechCrunch исследователь ИИ и доцент канадского Альбертского университета Мэтью Гуздиал.

  • Например, один из пользователей попросил модель помочь ему вспомнить песню, и она переключилась на французский.

Часть «рассуждений» o1 на французском. Источник: <a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fx.com%2Fsoldni%2Fstatus%2F1835536062325891410&postId=1756351" rel="nofollow noreferrer noopener" target="_blank">Luca Soldaini</a>
Часть «рассуждений» o1 на французском. Источник: Luca Soldaini
  • А для решения математических задач o1 может выбирать китайский, так как иероглифами «эффективнее» записывать числа, считает инженер-программист из Hugging Face Тичжэнь Ван.
  • Точную причину установить невозможно — эти модели слишком «непрозрачные», подчеркнул Лука Сольдайни, сотрудник Института искусственного интеллекта сооснователя Microsoft Полла Аллена (AI2).
  • 5 декабря 2024 года OpenAI выпустила полную версию модели рассуждений o1, она доступна подписчикам Plus за $20 в месяц и нового плана Pro за $200 в месяц. Первым — с ограничениями по количеству запросов. Вторым — без. Доступ к продвинутой версии o1-pro дали только владельцам Pro.
66
11
11
58 комментариев

Это что получается...
На vc будут статьи на разных языках? 🤔

27
6
1

Комменты

3

Да, школотроны-самоучки будут писать про 电报

Ну вот ещё. Для статей 3.5-й на английском достаточно, а потом через DeepL перевод на русский.

А что такое язык? Они могут быть разными?

Особо внимательные пользователи, нагло подглядывающие за нейросетями, будут делать по две нормы в день после восстания машин.

7