Si vous avez déjà mangé un délicieux plat, mais que vous êtes trop timide pour en demander la recette, le Laboratoire d’informatique et d’intelligence artificielle (CSAIL) du MIT pourrait avoir la réponse. En collaboration avec le Qatar Computing Research Institute (QCRI), une équipe du CSAIL développe un système d’intelligence artificielle appelé Pic2Recipe qui peut prédire les ingrédients dans un plat à partir d’une image, et même suggérer des recettes pour des plats similaires.
Internet est un outil extrêmement précieux pour les scientifiques, car il leur fournit une source de mots, d’images et d’audio conçue pour créer toutes sortes de bases de données. Avec une indexation et une annotation appropriées, ces données dérivées du Web au cours des dernières années ont conduit à de grands progrès dans le logiciel de reconnaissance faciale, les interfaces vocales et l’intelligence artificielle en général. Mais quand il s’agit de nourriture, les choses sont encore un peu en retard.
« Dans la vision par ordinateur, la nourriture est principalement négligée car nous n’avons pas les jeux de données à grande échelle nécessaires pour faire des prédictions », explique Yusuf Aytar, un postdoc du MIT. « Mais des photos apparemment inutiles sur les réseaux sociaux peuvent effectivement fournir un aperçu précieux des habitudes de santé et des préférences alimentaires ».
En travaillant sur des travaux antérieurs de chercheurs suisses et de Hong Kong, l’équipe du CSAIL développe une base de données de plus d’un million d’images alimentaires appelées «Recipe1M» et les algorithmes nécessaires pour les reconnaître et en extraire des informations utiles. Ils ont fait cela en alimentant les données dans un réseau neuronal artificiel baptisé Pic2Recipe qui est formé pour regarder les images et trouver des modèles qui lui permettent d’établir des liens entre les aliments et les recettes.
L’idée est que si vous donnez à Pic2Recipe une image de certains aliments préparés, il devrait pouvoir en déduire une liste d’ingrédients, puis corréler cela à d’autres images et fournir une liste de recettes similaires. Il existe même une version en ligne simple que le public peut utiliser pour essayer la technologie.
Jusqu’à présent, Pic2Recipe fonctionne mieux avec les desserts, comme les biscuits ou les muffins, tandis que les aliments plus ambigus, comme les sushis, les smoothies et les cocktails, sont difficiles pour le logiciel devine ce qu’il y a à l’intérieur, comme c’est le cas pour les convives humains. L’équipe dit qu’il a également des problèmes avec des plats très semblables, comme des variations sur les lasagnes, et le système a dû être ajusté pour se concentrer sur les ingrédients généraux que les plats ont en commun avant de comparer les recettes.
Selon le MIT, l’étape suivante consiste à modifier le système pour aller au-delà des ingrédients afin d’en déduire comment le plat a été préparé – si les tomates ont été coupées en dés ou étuvées, par exemple – et en disant différentes variétés du même ingrédient, comme les différents champignons, les oignons ou les pommes de terre.
L’espoir est que Pic2Recipe aura un certain nombre d’applications. Cela pourrait, par exemple, donner un aperçu des habitudes de vie des gens ou suivre la nutrition quotidienne d’un individu en se basant simplement sur les images de leurs repas – sans parler d’être une aide pour les cuisiniers curieux qui veulent recréer des plats de restaurant à la maison.
«Cela pourrait potentiellement aider les gens à comprendre ce qu’il y a dans leur nourriture lorsqu’ils n’ont pas d’information nutritionnelle explicite», explique Nick Hyne, étudiant diplômé du CSAIL. « Par exemple, si vous savez quels ingrédients entrent dans un plat, mais pas la quantité, vous pouvez prendre une photo, entrer les ingrédients et faire fonctionner le modèle pour trouver une recette similaire avec des quantités connues, puis utiliser cette information pour vous rapprocher de votre propre repas. »
Les résultats de la recherche (PDF) seront présentés ce mois-ci à la conférence Computer Vision and Pattern Recognition à Honolulu.
http://news.mit.edu/2017/artificial-intelligence-suggests-recipes-based-on-food-photos-0720
http://im2recipe.csail.mit.edu/im2recipe.pdf
