Tether выпустила кроссплатформенный BitNet LoRA-фреймворк, миллиардный параметр модели можно дообучить на потребительских устройствах
PANews 21 марта сообщает, что согласно официальному объявлению, Tether представила кроссплатформенный BitNet LoRA fine-tuning framework в QVAC Fabric, реализующий оптимизацию обучения и инференса Microsoft BitNet (1-bit LLM). Этот фреймворк значительно снижает требования к вычислительной мощности и памяти, позволяя моделям с миллиардом параметров проходить обучение и донастройку на ноутбуках, потребительских GPU и смартфонах.
Данное решение впервые реализует fine-tuning BitNet моделей на мобильных GPU (включая Adreno, Mali и Apple Bionic). Тесты показывают, что модель с 125M параметрами может быть донастроена примерно за 10 минут, а модель с 1B параметрами — примерно за час, и даже на смартфонах возможно масштабирование до моделей с 13B параметрами.
Кроме того, фреймворк поддерживает гетерогенное оборудование, такое как Intel, AMD и Apple Silicon, и впервые реализует 1-bit LLM LoRA fine-tuning на устройствах, не относящихся к NVIDIA. По производительности, скорость инференса BitNet моделей на мобильных GPU увеличивается в 2–11 раз по сравнению с CPU, а использование видеопамяти по сравнению с традиционными 16-bit моделями снижается максимум на 77,8%.
Tether отмечает, что эта технология может устранить зависимость от высокопроизводительных вычислений и облачной инфраструктуры, способствуя децентрализации и локализации обучения AI, а также предоставляя основу для новых сценариев, таких как федеративное обучение.
Дисклеймер: содержание этой статьи отражает исключительно мнение автора и не представляет платформу в каком-либо качестве. Данная статья не должна являться ориентиром при принятии инвестиционных решений.
Вам также может понравиться

Борьба за HBM обостряется! Samsung планирует расширить производство по 4-нанометровому техпроцессу, конкуренция для SK hynix и Micron резко усиливается
Samsung планирует увеличить производственные мощности по 4-нм техпроцессу для поддержки производства базовых пластин HBM4, доля HBM выросла с 21% до 33%. Давление конкуренции для Hynix и Micron усиливается.
MoffettNathanson понизил целевую цену AT&T до 23 долларов
