Tether выпустила кроссплатформенный BitNet LoRA-фреймворк QVAC: поддержка обучения AI-моделей с миллиардом параметров на потребительских устройствах
Odaily сообщает, что согласно официальному анонсу, Tether объявила о запуске кроссплатформенного BitNet LoRA fine-tuning framework в QVAC Fabric, реализующего оптимизацию обучения и инференса для Microsoft BitNet (1-bit LLM). Этот фреймворк значительно снижает требования к вычислительной мощности и памяти, позволяя моделям с миллиардом параметров обучаться и донастраиваться на ноутбуках, потребительских GPU и смартфонах.
Данное решение впервые реализует fine-tuning моделей BitNet на мобильных GPU (включая Adreno, Mali и Apple Bionic). Тесты показывают, что модель с 125M параметрами может быть донастроена примерно за 10 минут, а модель с 1B параметрами — примерно за час, и даже на смартфоне возможно масштабирование до модели с 13B параметрами.
Кроме того, этот фреймворк поддерживает гетерогенное оборудование, такое как Intel, AMD и Apple Silicon, и впервые реализует 1-bit LLM LoRA fine-tuning на устройствах, отличных от NVIDIA. По производительности, скорость инференса моделей BitNet на мобильных GPU увеличивается в 2–11 раз по сравнению с CPU, а использование видеопамяти по сравнению с традиционными 16-bit моделями снижается максимум на 77.8%.
Tether отмечает, что эта технология может разрушить зависимость от высокопроизводительных вычислений и облачной инфраструктуры, способствуя развитию децентрализованного и локального обучения AI, а также предоставляя основу для новых сценариев применения, таких как федеративное обучение.
Дисклеймер: содержание этой статьи отражает исключительно мнение автора и не представляет платформу в каком-либо качестве. Данная статья не должна являться ориентиром при принятии инвестиционных решений.
Вам также может понравиться
Goldman Sachs интегрировал фонд государственных облигаций на 100 миллиардов долларов FTIXX с платформой Lynq
Риски промежуточных выборов пока не вызвали волатильности на фондовом рынке США, JPMorgan: VIX может повыситься в ближайшие недели.
Промежуточные выборы в США являются одним из самых важных событий, привлекающих внимание мировых финансовых рынков в оставшееся время этого года. Однако сигналы, поступающие с рынка деривативов, показывают, что трейдеры в настоящее время не делают ставку на сильную волатильность американского фондового рынка из-за выборов.
После понижения рейтинга Raymond James, акции Arcadia Healthcare падают
