ИИ для разработчиков: Intel открыла код библиотеки ускорения NPU
Intel открыла код своей библиотеки, которая позволит использовать возможности нового блока нейронной обработки (NPU) в процессорах Meteor Lake. Эта библиотека, получившая меткое название NPU Acceleration Library, написана на языке Python и призвана помочь вам "раскрыть потенциал искусственного интеллекта" в приложениях.
В настоящее время только процессоры Meteor Lake могут похвастаться этим специализированным NPU, но дорожная карта Intel предусматривает интеграцию NPU в грядущие процессоры Arrow Lake и Lunar Lake позднее в этом году.
По словам представителя Intel Тони Монгколсмая, библиотека позволяет разработчикам запускать компактные модели ИИ, такие как Gemma-2b и TinyLlama, локально на своих устройствах. Эта возможность была продемонстрирована во время презентации Meteor Lake в живом демонстрационном ролике, запускающем модель на ноутбуке MSI Prestige 16 AI.
Хотя библиотека предлагает такие возможности, как 8-битное квантование и поддержка Float16, она все еще находится в стадии разработки. Ожидается, что в будущих обновлениях появится поддержка 4-битного квантования, смешанной точности с поддержкой NPU и многое другое.