Специалисты Facebook научили нейросеть разбирать кулинарные рецепты на ингредиенты по итоговым фотографиям из социальной сети Instagram. Алгоритм обещают презентовать в ближайшее время, он способен описать способ приготовления и другие нюансы, лишь взглянув на картинку готового блюда.

Отличительной особенностью нейросети Recipe1M разработчики называют генеративный подход при распознавании картинки. Алгоритм способен не только определять необходимые для приготовления, изображенного на картинке блюда, ингредиенты, сравнивая их с теми, которые присутствуют в уже имеющейся базе данных, но и предлагают полный перечень продуктов, а также способ их приготовления. Делает это нейросеть, основываясь исключительно на изображении того или иного кулинарного шедевра. Далее кодировщик ингредиентов и декодер команд составляют заголовок для рецепта и публикуют результат в виде инструкции.

В сравнении с другими существующими алгоритмами, Recipe1M способен определять неочевидные ингредиенты, присутствующие в готовых продуктах, например масло в составе той или иной выпечки. Разработчики намерены усовершенствовать работу нейросети, добавив к ней другие полезные функции, например, такие как подсчет калорий. Помимо этого, новый ИИ можно будет использоваться для других задач, в том числе для тех, которые требуют прогнозирования структурированного текста на основе анализа готового изображения.

Когда новый алгоритм планируется запустить в тестовом режиме, пока неизвестно.