Исследователи повысили точность VLM до 80,7% с помощью квантовых слоев
Исследователи из Южного일리ноисского университета представили значительный прорыв в области моделей, объединяющих зрение и язык (VLM). Они успешно интегрировали квантовые слои в архитектуру этих моделей, что привело к существенному повышению точности распознавания пространственных отношений.
Согласно данным, достигнута точность в 80,7% на тестовом наборе данных Visual Spatial Reasoning. Это улучшение на 2,28 процентных пункта по сравнению с традиционными методами, что, по мнению авторов, является важным шагом вперед для моделей, работающих с визуальной информацией.
Важным открытием стало то, что наилучший результат был получен при размещении квантового слоя непосредственно после обработки визуальной информации, то есть после визуального проектора. Это подчеркивает, что простое добавление квантовых компонентов недостаточно; критически важна их стратегическая архитектурная позиция.
Кроме повышения точности, квантовые компоненты также способствуют повышению эффективности. Исследование показало, что замена определенных классических слоев на квантовые может снизить количество обучаемых параметров на 13 миллионов, при этом точность при этом остается высокой — до 79,22%.
Для оценки применимости в реальных условиях, ученые подвергли гибридные квантово-классические VLM шести различным сценариям атаки. В ходе тестирования было выявлено, что устойчивость модели зависит от того, к какой информации злоумышленник имеет доступ, что подтверждает важность стратегического размещения квантовых слоев.