«Яндекс» сделал общедоступной свою языковую модель Alice AI Search Pretrain, обученную с нуля. Это компактное решение уже прошло первый этап подготовки и располагает знаниями об окружающем мире. Архитектура позволяет ей моментально выдавать ёмкие ответы и справляться с большим потоком запросов.
Технически модель построена на гибридной схеме, которая прежде встречалась в основном в научных работах. Она совмещает два подхода — «Энкодер-декодер» и MoE (Mixture of Experts). Первый работает за счёт разделения труда: одна часть изучает и отбирает информацию, вторая формирует ответ. Второй ускоряет вычисления и экономит ресурсы.
Экономия достигается за счёт точечной активации. Из 35 миллиардов параметров при обработке одного токена задействуется лишь около 600 миллионов — менее 2%. По результатам слепого тестирования, Alice AI Search Pretrain обходит зарубежные модели своей категории и не уступает аналогам, которым требуется в разы больше вычислительных мощностей.