Триллион параметров, а включается тридцать миллиардов: почему новые ИИ дёшевы в работе

В заголовках мелькают цифры, от которых рябит в глазах: модель на 235 миллиардов параметров, конкурент на триллион, ещё один гигант. Звучит так, будто такие нейросети должны стоить космос за каждый запрос и еле ворочаться. А на деле многие из них отвечают быстрее и дешевле, чем модели в разы меньше. Фокус в одной архитектурной хитрости с честным названием — Mixture of Experts, «смесь экспертов». И именно она сейчас двигает всю гонку больших моделей.

Один всезнайка против команды узких специалистов

Обычная большая модель устроена как один эрудит, который на любой вопрос напрягает всю голову целиком. Спросили про налоги — работает вся сеть. Спросили про питон-код — снова вся сеть. Чем она больше, тем дороже каждый ответ, потому что в вычислениях участвует каждый её грамм.

Mixture of Experts переворачивает логику. Вместо одного всезнайки внутри модели живёт команда — десятки, а то и сотни «экспертов», узких подсетей. Есть ещё диспетчер, который смотрит на входящий кусочек текста и решает: этот отдаём паре нужных специалистов, остальные пусть молчат. В итоге модель огромная по объёму знаний, но на каждый конкретный токен просыпается лишь маленькая её часть.

Тридцать миллиардов из триллиона — и это не опечатка

Цифры выглядят почти абсурдно, пока не поймёшь принцип. Возьмём известный пример из открытых моделей: сеть с восемью экспертами, суммарно около 47 миллиардов параметров. Диспетчер на каждое слово включает всего двух специалистов из восьми — работает примерно 13 миллиардов параметров. Качество получается как у плотной модели на 40–50 миллиардов, а по скорости и стоимости — как у сети втрое меньше.

У новых китайских гигантов масштаб другой, а идея та же: общий объём — сотни миллиардов или триллион, но активными на каждый ответ остаются условные 30–35 миллиардов. Остальное — библиотека знаний, которая лежит наготове, но не жжёт электричество на каждом запросе. Стоимость ответа зависит не от того, сколько всего в модели, а от того, сколько включилось прямо сейчас.

Почему это разговор про деньги, а не про технику

Для бизнеса, который гоняет тысячи запросов в день, картинка простая. Цена работы ИИ складывается из вычислений на каждый токен. Плотная модель на 70 миллиардов заставляет платить за все 70 на любую мелочь. Модель с экспертами при том же уровне ответов считает как сеть на 13–35 — а значит, счёт за месяц меньше в несколько раз, и отвечает она заметнее быстрее.

Отсюда и волна релизов. Компании научились наращивать «эрудицию» модели почти без потолка, не убивая скорость и цену. Раньше рост качества упирался в стену: больше параметров — дороже каждый ответ. Смесь экспертов эту стену обходит. Поэтому за последний год почти все свежие флагманы — что открытые, что закрытые — построены именно так.

Где прячется подвох

Бесплатного тут нет. Да, в вычислениях участвует малая доля модели — но лежать в памяти должны все эксперты сразу. Диспетчер в любой момент может позвать любого из них, поэтому держать наготове приходится весь триллион. Это упирается в дорогую видеопамять серверов, и запустить такого гиганта у себя способен далеко не каждый.

Второй тонкий момент — сам диспетчер. Если он обучен неровно, часть экспертов перегружена, а часть простаивает без дела, и качество плавает от запроса к запросу. Настройка этого баланса — отдельное инженерное искусство, и именно в нём прячется разница между моделью, которая стабильно радует, и той, что через раз выдаёт ерунду. Снаружи всё выглядит одинаково гладко, а внутри — тонкая настройка, которую не видно по красивым цифрам параметров.

Что с этого обычному бизнесу

Практический вывод спокойный и приятный: умный ИИ дешевеет, и это не разовая акция, а следствие того, как теперь строят модели. Задачи, которые год назад окупались только у крупных игроков, — разбор переписки, черновики документов, ассистент в поддержке, обработка заявок — сегодня по цене доступны и небольшой компании.

Гнаться за самой огромной цифрой в характеристиках при этом смысла мало. Важно не «сколько всего параметров», а сколько модель тратит на ваш реальный поток запросов и насколько ровно держит качество. В МАВИИ мы как раз помогаем бизнесу подобрать модель под конкретную задачу и встроить её в работу так, чтобы платить за пользу, а не за красивые числа в пресс-релизе.

Вывод

Mixture of Experts — это способ иметь модель размером с энциклопедию, а платить за неё как за брошюру. Огромный общий объём знаний, маленькая активная часть на каждый ответ: отсюда и скорость, и низкая цена токена, и вся текущая гонка триллионных моделей. В следующий раз, когда увидите пугающую цифру параметров в заголовке, вспомните — включается из неё лишь малая доля. И именно поэтому умный ИИ становится по карману всё большему числу компаний.