Google выпустила Gemma 2 с 9 и 27 миллиардами параметров
Спустя два месяца после того, как компания Google представила Gemma 2 на Google IO 2024, она наконец-то сделала ее доступной для ученых и разработчиков по всему миру. Технологический гигант выпускает модель в двух вариантах - с 9 миллиардами и 27 миллиардами параметров.
Одной из главных проблем увеличения числа параметров в моделях, таких как Gemma 2, является их растущая зависимость от огромных объемов данных. При этом не всегда ясно, откуда берутся эти данные и насколько они репрезентативны. Это может приводить к тому, что модель будет давать предвзятые или некорректные ответы, если обучалась на ограниченном или искажённом наборе данных. Хотелось бы больше прозрачности в этом вопросе.