Чего НЕ могут конкурирующие ИИ 2025? (обзор)
Автор статьи: Кирилл Сергеевич Гудович
В последних числах января 2025 года, по просьбе Игоря Леонардовича Викентьева, ведущего онлайн-курса VIKENT.RU Автор обзора задал вопросы по предстоящей Online-консультации № 361 «Стратегии творчества-2025» (ссылка снизу) четырём модным и актуальным на момент запроса ИИ (моделям Искусственного Интеллекта):
1) ChatGPT 4o mini (США)
2) DeepSeek-R1 (Китай)
3) Qwen2.5-Plus (Китай)
4) Tulu3-405B (США)
Вопросы:
1) Каковы стратегии творчества в 2025 году?
2) Как построить сильную творческую карьеру в 2025 году?
3) Как сделать прорыв, открытие, сильное изобретение?
Приводить ответы данных ИИ в статье нет особого смысла.
Читатель может самостоятельно задать вопросы данным ИИ. Три из четырёх перечисленных доступны без ограничений.
Можно привести один характерный ответ DeepSeek:
«Используйте методики генерации идей:Мозговой штурм, ТРИЗ (Теория Решения Изобретательских Задач), синектика (аналогии из других областей)».
Выражаясь метафорами, это как ставить в одни ряд спонтанные танцы у костра и систему методик по созданию летательных аппаратов для выхода в космическое пространство.
Танцы у костра — дело хорошее, особенно если они спонтанные. Однако из подобных ответов можно сделать вывод, что переработанные массивы данных из интернета пережевываются и перевариваются ИИ без особого понимания темы.
Во всех ответах перечисленных моделей по вопросам Творческих стратегий НЕТ никакого упоминания Жизненной Стратегии Творческой Личности (ЖСТЛ), созданной Генрихом Сауловичем Альтшуллером.
НЕТ учета 88 ЖСТЛ-ходов, с которыми неминуемо (и порой весьма жестко и с существенными последствиями) сталкивается Творческая личность на своем пути.
Также НЕТ никакого упоминания (даже по прямому запросу) новых, стратегически важных Исследовательских тем с проекта VIKENT.RU. А подобных тем уже более 1700...
Почему ответы всех современных ИИ такого качества?
Так как я не являюсь специалистом по машинному обучению, нейросетям, ИИ и т.д. то могу лишь высказать гипотезы.
«... техника, называемая обучением с подкреплением и поддающимся проверке вознаграждением. [...] обучает модели выполнению заданий с „поддающимися проверке“ результатами, такими как решение математических задач и следование инструкциям.
Ai2 утверждает, что в тесте PopQA, состоящем из 14 000 специализированных вопросов из Википедии, Tulu3-405B превзошёл не только DeepSeek V3 и GPT-4o, но и модель Meta Llama 3.1 405B. Tulu3-405B также показал самую высокую производительность среди моделей своего класса в тесте GSM8K, состоящем из математических задач для начальной школы».
То есть одна из моделей (Tulu3-405B) показала высокие результаты в задачах для начальной школы потому, что обучение модели происходило с заданиями с проверяемыми результатам. Для подобного типа обучения нужно большое количество задач с заранее известными ответами.
Также данная модель обошла все остальные современные модные ИИ в тесте популярных вопросов, состоящих из 14 тысяч вопросов из Википедии.
Если с математическими задачами можно быть спокойными за правильность / качество ответов задач, с которыми сверяется модель во время обучения, то брать за эталоны обучения тысячи вопросов из Википедии... Это выглядит весьма сомнительной процедурой.
Но даже если не обращать внимание на Википедию, то основная идея заключается в том, что для подобного обучения нужны тысячи, десятки тысяч качественных(!) ответов.
ЖСТЛ-3 (третья версия) была построена на анализе тысячи тщательно отобранных биографий выдающихся Творческих личностей.
Отсюда следует Гипотеза. Возможно, специалисты по ИИ не имели подобного количественного и качественного фонда и не предоставили подобный материал для «скармливания» моделям...
Видимо, до сих пор ахиллесовой пятой моделей на данный момент остаётся НЕспособность отличать мусорный материал от качественного.
Возможно, это особенно касается сложных и новых тем (которые находятся на начальном этапе развития). И кажется, что эта ахиллесова пята есть как у самих ИИ, так и у специалистов по машинному обучению.
Пока (?) ИИ не могут сами отличать качественный материал для самообучения от некачественного и транслируют троечные ответы из поисковиков.
Выбор материала для обучения ИИ выполняют люди.
А квалификация людей по уровню в Творческих индустриях может достигать разницы в десятки, сотни и даже тысячи раз. По вполне проверяемым параметрам: количеству в картотеке (базе данных) примеров, творческих приёмов (эвристик), чек-листов ошибок, моделей решений задач, закономерностей и т.д.
ПОЛЕЗНЫЕ ССЫЛКИ:
ОНЛАЙН-КОНСУЛЬТАЦИЯ VIKENT.RU № 361 «СТРАТЕГИИ ТВОРЧЕСТВА-2025»:
ВК-ВИДЕО:
YouTube:
88 ходов ЖСТЛ: