Google представляет SensorLM, который преобразует сигналы датчиков в ориентированную на человека информацию о здоровье

Подразделение, занимающееся как фундаментальными, так и прикладными исследованиями, Google Research выпустили SensorLM , новое семейство базовых моделей языка датчиков, разработанных для улучшения интерпретации многомерных данных с носимых устройств. SensorLM, обученный на основе обширного анализа данных с мультимодальных датчиков (59.7 млн часов), полученных от более чем 103,000 XNUMX человек, способен создавать подробные, понятные человеку описания сложных сигналов датчиков, устанавливая новый стандарт в области анализа данных датчиков.

Для разработки обучающего набора данных для SensorLM было собрано около 2.5 миллионов человеко-дней данных с деперсонифицированных датчиков от 103,643 127 участников из 1 стран. Эти данные были собраны с устройств Fitbit и Pixel Watch в период с 1 марта по 2024 мая XNUMX года. Все участники предоставили информированное согласие на использование своих анонимных данных в исследованиях, направленных на расширение общих знаний в области здравоохранения и науки.

Исследователи внедрили автоматизированный иерархический конвейер, который генерирует описательные подписи, вычисляя статистику, распознавая закономерности и суммируя события непосредственно на основе данных датчиков, чтобы решить задачу маркировки больших массивов данных. Этот подход позволил создать крупнейший на сегодняшний день известный набор данных, согласующий данные датчиков с языком, превосходящий по масштабу наборы данных, использовавшиеся в предыдущих исследованиях.

Архитектура SensorLM объединяет и гармонизирует широко используемые мультимодальные методологии предобучения, в частности, контрастное обучение и генеративное предобучение, в единую структуру. На этапе контрастного обучения модель обучается связывать сегменты данных датчиков с соответствующими текстовыми описаниями, выбранными из группы альтернатив. 

Этот процесс позволяет модели точно различать различные физические нагрузки или физиологические состояния, например, легкое плавание и силовую тренировку. На этапе генеративной подготовки модель учится создавать текстовые описания непосредственно на основе данных с датчиков, что повышает её способность к передаче сложных, контекстно-зависимых интерпретаций многомерных данных. Интеграция этих стратегий обучения позволяет SensorLM сформировать комплексное и детальное мультимодальное понимание того, как данные с датчиков соотносятся с естественным языком.

Эксперименты демонстрируют передовые возможности SensorLM в классификации с нулевой частотой, обучении с малым количеством попыток и кросс-модальном понимании

Согласно Google Research Производительность SensorLM была оценена в различных реальных сценариях, включая распознавание человеческой активности и приложения в здравоохранении, продемонстрировав явные преимущества по сравнению с существующими ведущими моделями в этих областях. SensorLM особенно хорошо работает в средах с ограниченным количеством размеченных данных. Система продемонстрировала высокие возможности классификации с нулевого уровня, правильно определив 20 различных видов деятельности без необходимости тонкой настройки модели, и продемонстрировала эффективное обучение с минимальным уровнем, быстро адаптируясь к новым задачам с минимальным количеством примеров. Функциональность кросс-модального поиска также обеспечивает взаимную интерпретацию данных датчиков и естественного языка, позволяя пользователям искать шаблоны датчиков с помощью текста или генерировать релевантные описания на основе входных данных датчиков — подход, поддерживающий рабочие процессы экспертного анализа.

Помимо классификации, SensorLM способен генерировать структурированные и контекстно-зависимые текстовые сводки, основываясь исключительно на данных носимых датчиков. Экспериментальные сравнения показывают, что эти результаты, как правило, более связны и точны, чем результаты, генерируемые неспецифичными для предметной области языковыми моделями. Исследование также показало, что производительность SensorLM последовательно масштабируется с увеличением объёма обучающих данных, размера модели и вычислительных ресурсов, что соответствует ранее установленным принципам масштабирования моделей. Эти результаты свидетельствуют о том, что данный подход находится на ранней стадии развития своего потенциала и требует дальнейшего изучения.

Разработка SensorLM представляет собой платформу для интерпретации сложных данных с носимых датчиков посредством естественного языка. Это стало возможным благодаря недавно разработанному методу иерархических субтитров и, как считается, самому крупному на сегодняшний день набору данных на языке датчиков. В результате семейство моделей SensorLM представляет собой шаг вперед в повышении доступности и полезности персональных медицинских данных. Позволяя машинам интерпретировать физиологические сигналы посредством языка, эта работа закладывает основу для более персонализированной и информативной обратной связи о состоянии здоровья. В дальнейшем будут изучаться возможности расширения в такие области, как метаболическое профилирование и расширенный мониторинг сна, с более широкой целью поддержки персонализированных инструментов для поддержания здоровья, систем клинического мониторинга и цифровых помощников по здоровью, способных взаимодействовать с естественным языком. Разработка и внедрение любых будущих продуктов, основанных на этом исследовании, могут подлежать клинической валидации и регулированию.