Открытие: как Food XRay помогает контролировать калорийность еды

Открытие: как Food XRay помогает контролировать калорийность еды

В SalesForce обучили нейросеть , которая по изображению еды предсказывает ее калорийность. Модель доступна через API сервис или в приложении Healthy 365 . FoodAI обходит существующие подходы на задаче классификации типа блюда. Модель основана на SENet и ResNeXt архитектурах.

Основное ограничение текущих приложений по отслеживанию здоровья и питания — необходимость вручную вбивать каждый прием пищи. Нейросеть от исследователей из SalesForce упрощает трекинг потребляемой пищи. Система распознает класс объекта и его характеристики, включая калорийность. Сложность при решении такой задачи — количество классов блюд и их схожесть в отдельных случаях.

 In this paper we present extensive analysis and insights into the development of this system. FoodAI has been deployed as an API service and is one of the components powering Healthy 365, a mobile app developed by Singapore’s Heath Promotion Board. We have over 100 registered organizations (universities, companies, start-ups) subscribing to this service and actively receive several API requests a day. FoodAI has made food logging convenient, aiding smart consumption and a healthy lifestyle.

Ограничения модели

FoodAI обучали на корпусе из 400 тысяч изображений еды с 756 отдельными категориями блюд. Категории включают в себя основные блюда, напитки и закуски. Данные были собраны вручную на основе результатов поисковых запросов. Разметка производилась вручную. 100 классов из 756 относятся к локальным блюдам Сингапура (>500 изображений на класс).

Что внутри FoodAI

Нейросеть принимает на вход изображение объекта и выдает список из 10 наиболее вероятных классов. Архитектура нейросети основана на SENet и ResNeXt сверточных архитектурах.

Модель была задеплоена как RESTful веб-сервис, к которому можно получит доступ через HTTP/HTTPS. API может воспользоваться платформа любого типа: мобильное приложение, веб-приложение или декстоп-приложение. Ниже изображена полная архитектура обученной модели.

Визуализация архитектуры системы

Оценка работы модели

Исследователи проверили, как разные архитектуры справляются с задачей классификации блюд из датасета FoodAI-756. Модели были предобучены на ImageNet и подогнаны под задачу классификации блюд. Комбинация SENet, ResNeXt и Focal функции потерь выдает наиболее точные результаты.

Связанные вопросы и ответы:

Что такое Food XRay

В отличие от металлодетекторов, X-Ray сканеры используют принципиально иной метод обнаружения физического загрязнения инородными частицами, который основан на рентгеновском излучении, а не на электромагнитном. Благодаря этому, промышленные рентгеновские аппараты способны обнаружить включения, недоступные для металлодетектора.

Наглядно разница между металлодетектором и X-Ray сканером представлена ниже:

Как видно из диаграммы, спектр обнаруживаемых материалов у рентген-сканера гораздо больше и включает в себя не только металлы, но и любые большинство загрязнителей-неметаллов, которые могут присутствовать в продукте.

Справочная информация

Сразу стоит отметить, что это условная диаграмма, отражающая возможности рентгеновского оборудования в принципе. Помимо материала загрязнителя большое значение имеет состав самого продукта, который должен отличаться по своим физическим параметрам от инородных частиц и упаковки. Поэтому, несмотря на большие возможности, в частных случаях рентгеновское оборудование может уступать металлодетекторам в чувствительности и быть менее эффективным. Для того, чтобы понять, какое оборудование более предпочтительно, необходимо провести полноценный анализ внешних условий работы рентгеновского аппарата.

X-Ray сканеры обладают еще одним уникальным свойством, недоступным для металлодетекторов. Металлодетектор способен только констатировать, что имеется инородное тело, отчасти он может определить его размер. То есть он может, но это избыточная для производственного процесса функция, когда просто достаточно определить наличие/отсутствие загрязнителя.

В то же время рентген-сканеры не только указывают точное местоположение инородной частицы, но и сканируют текстуру самого продукта. Поэтому дополнительными функциями рентгеновских аппаратов можно назвать:

• Возможность переработки отбракованной продукции. Иногда технологический процесс позволяет устранить брак, если известно место его расположения и количество. К примеру, при помощи сканера можно определить количество и местонахождение костей в мясе, которые можно удалить.
• Контроль не только за качеством продукта, но и за его количеством. В частности, рентгеновский сканер отлично способен распознавать емкости с недоливом напитка.
• Контроль за самим технологическим процессом. Например, при помощи X-Ray сканера можно проверять наличие крышки на бутылке.

Как работает Food XRay

Фитнес-трекеры бывают встроенными в «умные» часы, а бывают в виде приложения, которое устанавливается на телефон. В обоих случаях принцип работы системы одинаковый, но все-таки браслет может собирать больше данных о пользователе (например, измерять пульс).

Главным датчиком измерения активности является акселерометр , он есть как в смартфонах, так и в электронных часах. Это устройство получает информацию о положении тела в пространстве и о скорости его передвижения. К сожалению, прибор регистрирует разные виды активности не всегда точно. А ведь это очень важно, так как при беге и отжиманиях тратится разное количество калорий. Силовые тренировки часто нацелены на изолированные группы мышц, которые просто не будет замечать акселерометр, если он остается неподвижным. Представьте, что вы делаете планку. Ваши мышцы максимально напряжены, но трекер, увы, этого не видит.

Именно поэтому трекеры, встроенные в браслеты, будут чуть лучше справляться с задачей, так как они зачастую имеют датчик пульса. Контролируя частоту сердечных сокращений, устройство может получать более точную картину интенсивности упражнений и расхода энергии. Однако это все равно не обеспечивает стопроцентную точность.

Когда устройство получает примерную картину того, чем вы занимаетесь, оно может посчитать, сколько в среднем энергии тратится при таком виде деятельности. Эти расчеты будут основаны на концепции метаболического эквивалента (MET). Показатель MET выражает соотношение средней скорости метаболизма человека при выполнении какой-либо задачи по сравнению со скоростью метаболизма в состоянии покоя. То есть,усредненные стандарты, которые говорят, сколько калорий человек тратит за час бега, танцев, ходьбы или даже лежания на диване.

Что такое Счетчик калорий

Все, кто находятся на диете и считают калории, ведут специальные блокнотики, вычисляя БЖУ (белки, жиры, углеводы) и прочую информацию. Но стоит ли так заморачиваться, если можно использовать приложение YAZIO? Или оно не сможет заменить блокнот?

Функциональность YAZIO:

• Бесплатное скачивание и регистрация;
• Индивидуальный план для потери веса или набора мышц;
• Таблица калорийности для более чем 2 миллионов продуктов;
• Трекер питания и пищевой дневник для всех приемов пищи;
• Отслеживайте калории, углеводы, белки и жиры;
• Создавайте приемы пищи, добавляйте любимые продукты или вводите в базу новую еду;
• Легко копируйте записи дневника с одного дня на другой;
• Встроенный сканер штрих-кода для быстрого поиска;
• Отслеживайте свои занятия спортом и активность;
• Калькулятор калорий для отслеживания сожженных калорий;
• Записывайте свой вес;
• Оценивайте свою диету и достижения.

Преимущества YAZIO Pro по сравнению с обычной версией приложения:

• Вместе с версией Pro вы достигнете своей цели в два раза быстрее;
• Планы питания с низким содержанием углеводов, с высоким содержанием белка и другие;
• Более 100 здоровых и вкусных рецептов;
• Специальная система рейтингов продуктов питания;
• Больше анализов данных о питании и замеров тела;
• Отслеживайте другие питательные вещества, такие как сахар, клетчатка и соль;
• Узнайте, какие продукты содержат больше всего углеводов или жиров;
• Прогресс за последние 2.5 года;
• Отслеживайте процент жира в организме, кровяное давление, уровень сахара в крови;
• Делайте замеры груди, талии и бедер;
• Планируйте питание и тренировки на несколько дней вперед;
• Без рекламы (кому это не понравится?);
• Поддержка регулярных обновлений YAZIO.

Как работает Счетчик калорий

Когда мы говорим о подсчёте расходованной энергии, перед фитнес-браслетом встаёт сложная и практически невыполнимая задача, ведь процесс сжигания калорий происходит постоянно и за счёт многих факторов — пищеварения, физической активности, умственной деятельности и даже сна.

Чтобы верно определить, сколько человек потратил килокалорий за сутки, нужно учитывать его базальный (основной) метаболизм — количество энергии, необходимое организму ежедневно в условиях покоя. Существует несколько методов, которые позволяют вычислить уровень основного обмена веществ.

• Метод прямой или непрямой калориметрии — анализ вдыхаемого и выдыхаемого воздуха и измерение количества расходуемого человеком тепла. Процедура проводится натощак в комфортных условиях. На испытуемого надевают кислородную маску, в которую он дышит, а специальное оборудование фиксирует показатели. Данный метод считается наиболее точным и зачастую используется в научных ислледованиях.
• Биоимпедансный метод — анализ состава человеческого тела, который позволяет рассчитать количество жировой, клеточной и мышечной массы, а также определить объём воды в организме. На основе полученных данных вычисляется обмен веществ.
• Математический расчёт по общей формуле, где переменными являются параметры человека — пол, возраст, рост и вес. Способ считается не очень надёжным, так как у всех людей разные показатели здоровья, а они могут повлиять на полученный результат.

Для вычисления базального метаболизма фитнес-трекеры чащё всего прибегают именно к математическому методу. Устройство учитывает данные акселерометра (датчик, позволяющий определить количество пройденных шагов) и основные сведения о человеке — пол, возраст, вес и рост. Используя собственный алгоритм, «умный» гаджет, производит подсчёт количества расходуемой энергии.

Вот поэтому некоторые владельцы смарт-браслетов сомневаются в их точности. Трекеры не всегда берут во внимание индивидуальные особенности здоровья и организма человека и не могут правильно рассчитать основной обмен.

pigeonmachine

У меня есть Apple Watch, и я не думаю, что их данные о расходе калорий вообще точны. Считает шаги? Да, и точно. Считает количество минут, которое я тренируюсь? Тоже довольно точно. Но сожжённые калории? Неа. Что касается точности: я отслеживаю, что ем, и использую знаменитую адаптивную электронную таблицу TDEE (Общий ежедневный расход энергии — Прим. Medialeaks). Я почти уверен, что трачу около 1900-2000 ккал в день. Однако судя по моим часам, я трачу около 2400-2500. Это определённо завышает показатели затраченной энергии на поднятие тяжестей.