Нейросеть с помощью искусственного интеллекта распознает кулинарные рецепты блюд по фото.
Искусственный интеллект легко покорил еще одну довольно творческую сферу – кулинарию. Исследователи из Массачусетского технологического института (MIT) совместно с коллегами из Лаборатории искусственного интеллекта (CSAIL) представили систему под названием Pic2Recipe, которая умеет составлять список ингредиентов и рецепт приготовления блюда, основываясь лишь на его изображении.
“Комп’ютерним зрением продукты питания в основном игнорируются, потому что у нас нет крупных наборов данных, необходимых для прогнозирования, – объясняет Юсуф Айтар (Yusuf Aytar) с MIT. – Но даже на первый взгляд ненужные фотографии в социальных сетях могут дать ціннее представление о привычках и предпочтениях относительно здоров’я и питание “.
Для начала команда разработала базу данных Recipe1M, что содержит более миллиона изображений продуктов, а также алгоритмы, необходимые для их распознавания и получения полезной информации о них. Затем эти данные исследователи загрузили в нейросеть Pic2Recipe и научили ее искать зв’связь между продуктами и рецептами, а потом создавать шаблоны последних.
То есть, например, если дать Pic2Recipe изображение готовой еды, то она в ответ сравнит его с другими изображениями из базы, отыщет список рецептов, а также выдаст список необходимых для приготовления ингредиентов.
Пока Pic2Recipe работает лучше всего с десертами, такими как печенье или кексы, в то время как более сложные блюда и напитки (типа коктейлей) даются ей немного хуже. Авторы признаются: система изо всех сил пытается распознать набор ингредиентов, закатанных в рулончик роллов, но получается у нее это с средней точностью в 65%.
Далее разработчики хотят научить систему давать советы, касающиеся тонкостей приготовления (например, как порезать продукт – кубиками или соломкой, жарить овощ или использовать его свежим и так далее).
Потенциально Pic2Recipe может разрастись до ряда приложений, чтобы пользователи могли отслеживать ежедневный рацион, считать калории или проверять, правильно приготовленное блюдо в ресторане.
Более подробное описание разработки содержится на сайте проекта. Там же доступна демо-версия, которую любой пользователь может использовать, чтобы протестировать технологию онлайн.
