Что такое ONNX: зачем нужен формат и как его используют

Что такое ONNX: зачем нужен формат и как его используют
0
26

Нейросеть научилась распознавать товары на фотографиях. Теперь разработчики хотят добавить эту функцию на сайт, чтобы покупатель мог загрузить снимок и узнать, что на нём изображено. Но модель обучали в одной программе, а работать она должна в другой. Здесь может пригодиться ONNX — формат, который помогает переносить обученные модели между приложениями. Разбираемся, как он устроен и где его можно попробовать.

Что такое ONNX простыми словами

ONNX (Open Neural Network Exchange) — открытый формат для хранения и обмена моделями машинного обучения. С его помощью обученную модель можно перенести в другую программу, если она поддерживает этот формат.

Представим, что разработчик создал нейросеть для распознавания изображений. Он обучил её на Python с помощью PyTorch — библиотеки для машинного обучения. Модель работает, но теперь её нужно подключить к сайту интернет-магазина.

Необязательно переносить на сайт всю программу, в которой модель обучали. Вместо этого разработчик может экспортировать подходящую модель в ONNX и запустить её через совместимый инструмент.

После экспорта получается файл с расширением .onnx. В нём хранится описание вычислений модели и данные, необходимые для её работы.

При этом ONNX не является отдельной нейросетью. Он не обучает модель и не делает её умнее. Его задача — помочь использовать уже подготовленную модель в другой среде.

Как работает ONNX

Чтобы понять принцип, разделим работу с нейросетью на две части: обучение и использование.

Во время обучения модели показывают примеры. Например, фотографии кроссовок, сумок и курток. Она учится находить различия между ними, а разработчик проверяет, насколько хорошо получается распознавать новые изображения.

Когда обучение закончено, модель можно подключать к приложению. Например, пользователь загружает фотографию товара, а сайт показывает предполагаемую категорию.

ONNX помогает организовать этот переход. Обычно процесс выглядит так:

  1. Разработчик обучает модель и проверяет её качество.
  2. Сохраняет совместимую модель в файл .onnx.
  3. Подключает файл к программе с поддержкой ONNX.
  4. Проверяет, совпадают ли результаты с исходной моделью.

Для запуска часто используют ONNX Runtime. Он выполняет вычисления модели и возвращает результат приложению. Например, нейросеть обучали на мощном компьютере, а после переноса хотят использовать на обычном сервере. ONNX может помочь с таким переходом, хотя совместимость и скорость работы нужно проверить отдельно.

Схема работы ONNX: обучение модели в PyTorch, экспорт в файл model.onnx, запуск через ONNX Runtime и использование на сайте или в приложении.

Чем ONNX отличается от ONNX Runtime и PyTorch

Эти названия встречаются рядом, из-за чего легко запутаться. Но каждый инструмент выполняет свою задачу.

ИнструментДля чего нужен
PyTorchСоздавать и обучать модели
ONNXСохранять и переносить обученные модели
ONNX RuntimeЗапускать совместимые модели и получать результаты

Например, модель распознавания изображений обучили в PyTorch. Затем её сохранили в ONNX, а на сайте запустили через ONNX Runtime Web — версию ONNX Runtime для браузера.

ONNX Runtime не нужно путать с ONNX. Первый запускает вычисления, второй описывает модель, которую нужно выполнить.

При этом ONNX используют не только с нейросетями для изображений. Формат поддерживает разные виды моделей, включая некоторые классические алгоритмы машинного обучения.

Где используют ONNX

ONNX особенно полезен, когда модель уже создана, но её нужно встроить в готовый продукт. Например, на сайт, в приложение компании или в программу для сотрудников.

Распознавание изображений на сайте

Допустим, интернет-магазину нужно автоматически определять категорию товара по фотографии.

Покупатель загружает снимок, модель анализирует его и предполагает, что изображено: обувь, одежда или аксессуар. Это может помочь при обработке товарных карточек или сортировке изображений.

Подходящую ONNX-модель можно запускать прямо в браузере через ONNX Runtime Web. В таком случае фотографию необязательно отправлять на сервер для распознавания: вычисления могут выполняться на устройстве пользователя.

Но для этого приложение должно быть специально разработано, а выбранная модель — подходить для работы в браузере.

Обработка обращений в партнёрке

Представим CPA-сеть, в поддержку которой ежедневно приходят сотни сообщений. Вебмастера спрашивают о выплатах, статусах заявок, работе офферов и технических ошибках.

Можно обучить модель, которая распределяет обращения по категориям. После этого её подключают к системе поддержки, чтобы сообщения быстрее попадали к нужным специалистам.

Если модель обучали в одной среде, а сервис поддержки работает на другой платформе, ONNX может упростить её перенос.

Для такой задачи необязательно использовать большую генеративную нейросеть. Иногда достаточно небольшой модели, которая умеет определять тему сообщения.

Прогнозирование качества заявок

Допустим, в партнёрской программе накопилась история заявок. Известно, откуда пришёл пользователь, к какому офферу относилась заявка и состоялась ли покупка.

На этих данных можно обучить модель, которая попробует оценивать вероятность покупки по новым заявкам. После проверки качества её подключают к рабочей системе.

ONNX здесь пригодится на этапе внедрения, когда готовую модель нужно запускать в приложении. А сам поиск закономерностей, подготовка данных и обучение относятся к задачам Data Science и Machine Learning.

★ Где этому научиться

Курс «Data Science и Machine Learning» в Академии IT DMS

✓Python, Pandas и подготовка данных с нуля
✓Регрессия, классификация, кластеризация и нейросети на scikit-learn
✓NLP и анализ текста, визуализация, AutoML

Сертификат, диплом о переподготовке или удостоверение о повышении квалификации.

Перейти к курсу →ПромокодAFFTIMES

−5 % на первую покупку. Скидка суммируется с любыми акциями школы. Если оплачиваете через менеджера в чате, назовите ему промокод.

Как попробовать ONNX без программирования

Для первого знакомства подойдёт MobileNet — модель, которая определяет, что находится на фотографии. Например, она может распознать музыкальный инструмент, животное или другой знакомый ей объект.

Интерфейс ONNX Runtime Web Demo с фотографией рояля и результатами классификации изображения моделью MobileNet.
MobileNet определяет объект на фотографии прямо в браузере. На примере Microsoft модель распознаёт рояль.

Попробуйте повторить эксперимент самостоятельно.

  1. Откройте ONNX Runtime Web Demo.
  2. Выберите пример MobileNet, если он не открыт по умолчанию.
  3. Используйте готовую фотографию или загрузите собственную через Upload Image.
  4. Посмотрите, какие категории предлагает модель и насколько она уверена в каждом предположении.
  5. Выберите другое изображение и сравните результаты.

В опубликованном примере Microsoft модель анализирует фотографию рояля и определяет его как grand piano. На экране также показаны другие, менее вероятные варианты.

Для нас здесь важно не столько название музыкального инструмента, сколько сам процесс. Модель уже обучена, а ONNX Runtime Web запускает её в браузере. Пользователю не нужно устанавливать Python или самостоятельно обучать нейросеть.

Можно попробовать фотографию предмета на необычном фоне или под другим углом. Если модель ошибётся, это не обязательно проблема ONNX. Возможно, сам предмет плохо представлен среди категорий, которые она умеет распознавать.

Демонстрация Microsoft — довольно старый проект, поэтому отдельные настройки и оформление могут отличаться от современных приложений. Но принцип использования ONNX Runtime Web она показывает наглядно.

Как посмотреть, что находится внутри ONNX-модели

Файл .onnx не похож на обычный документ. В нём нельзя просто открыть список инструкций и прочитать, как модель распознаёт изображения.

Зато его устройство можно посмотреть через Netron — бесплатный инструмент для просмотра моделей машинного обучения. Он показывает схему вычислений: какие данные поступают на вход, что с ними происходит и какой результат модель выдаёт.

Для знакомства не нужно искать файл самостоятельно. Разработчик Netron разместил в своём репозитории несколько готовых примеров. Среди них есть ONNX-модель SqueezeNet, которая используется для распознавания изображений.

Откройте готовую модель SqueezeNet в Netron. Если загрузка прошла успешно, вы увидите граф с большим количеством соединённых блоков.

У каждого блока своя операция. Например, один обрабатывает данные, другой передаёт результат следующему. В конце графа находятся выходные данные модели. Разбираться во всех блоках необязательно. Здесь достаточно увидеть, что модель — это не просто файл с названием. В нём описана последовательность вычислений, которую затем выполняет совместимая программа.

Интерфейс Netron с открытой ONNX-моделью, графом вычислений и информацией о входных и выходных данных.
Netron показывает структуру модели: от входных данных через последовательность вычислений до результата.

ONNX ускоряет работу нейросети?

Иногда да. ONNX Runtime может использовать оптимизации, которые помогают выполнять вычисления быстрее или эффективнее расходовать память.

Например, разработчик может сравнить работу одной модели в исходной среде и через ONNX Runtime. На определённом оборудовании второй вариант окажется быстрее.

Но сам переход на ONNX не гарантирует ускорения. Результат зависит от самой модели, компьютера, настроек и способа запуска. На одном устройстве разница может быть заметной, на другом — практически отсутствовать.

Есть и другие ограничения. Не каждую модель удаётся экспортировать в ONNX без доработок, а некоторые приложения поддерживают не все операции. Поэтому перед внедрением проверяют совместимость и сравнивают результаты исходной и перенесённой модели.

Например, если нейросеть неправильно определяет категорию товара, сохранение в ONNX не исправит её ошибки. Для улучшения качества может потребоваться изменить обучающие данные или саму модель.

Именно поэтому работа над моделью не заканчивается её экспортом. Разработчикам нужно проверить, как она ведёт себя в реальном приложении: правильно ли обрабатывает данные, достаточно ли быстро отвечает и сохраняет ли качество прогнозов.

Этими задачами занимаются в том числе ML-инженеры. Подробнее о профессии и работе с моделями мы рассказывали в статье «AI/ML-инженер: кто это, чем занимается и как им стать».

FAQ

Что такое ONNX простыми словами?

ONNX — открытый формат для хранения и обмена моделями машинного обучения. Он помогает переносить совместимые модели между разными программами и средами запуска.

Как расшифровывается ONNX?

ONNX означает Open Neural Network Exchange — открытый формат обмена нейросетевыми моделями.

Для чего нужен ONNX?

ONNX используют, чтобы переносить обученные модели в другие приложения, например на сайты, серверы и мобильные устройства, без необходимости заново обучать их.

Чем ONNX отличается от ONNX Runtime?

ONNX — формат, в котором представлена модель. ONNX Runtime — инструмент, который выполняет вычисления совместимой модели и возвращает результат.

Можно ли перенести модель из PyTorch в ONNX?

Да. PyTorch поддерживает экспорт моделей в ONNX. При этом не все модели можно преобразовать без доработок, а результаты после экспорта необходимо проверять.

Как открыть файл ONNX?

Посмотреть структуру ONNX-модели можно в бесплатном инструменте Netron. Он показывает входные данные, вычислительные операции и выход модели.

Можно ли запустить ONNX в браузере?

Да. Для совместимых моделей используют ONNX Runtime Web. Он позволяет выполнять вычисления непосредственно в браузере пользователя.

ONNX ускоряет работу нейросети?

ONNX Runtime иногда помогает ускорить выполнение модели благодаря оптимизациям. Однако результат зависит от оборудования, самой модели и настроек запуска.

Валерия Шлегель
Валерия Шлегель
Автор
(Проголосовать за статью)

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

X