Генеративные языковые модели на пике популярности, но только 12% фирм в России понимают, для каких задач они будут использовать нейросети. О том, как эффективно применять в бизнесе большие языковые модели и какие барьеры стоят на этом пути, в колонке для Forbes рассказывает CPO YandexGPT API Алексей Долотов
По версии консалтинговой компании Gartner, генеративные нейросети достигли вершины технологического хайпа. Пользователи ждут от технологий едва ли не чуда, а интерес к GPT со стороны людей и бизнеса зашкаливает: количество поисковых запросов со словом «нейросеть» в Яндексе выросло по итогам 2023 года в девять раз.
Любая LLM (Large language model, большая языковая модель) — это сложная нейронная сеть, которая сначала обучается на огромном количестве источников, а затем генерирует текст в ответ на сообщения пользователя. LLM хранит свои знания в параметрах нейронной сети. В представленном в 2021 году докладе ученые из Microsoft Research и Стэнфордского университета показали, что нейросеть с большим числом параметров работает гибче, а также лучше поддается обучению.
До середины 2022 года мы наблюдали на рынке больших языковых моделей экспоненциальный рост количества параметров LLM, и именно за счет этого они становились умнее. Одна из крупнейших таких моделей — это нейросеть PaLM от Google, первая версия которой насчитывала около 540 млрд параметров. Более поздние LLM, такие как GPT-4, по разным оценкам, имеют примерно 1,76 трлн параметров — разработчики официальных цифр не разглашают.