Studenci AGH tworzą aplikację wykrywającą pleśń. Telefonem sprawdzimy chleb, owoce czy kawałek sera

Czy kromka chleba, owoc lub kawałek sera nadają się jeszcze do spożycia? Dla wielu osób odpowiedź jest oczywista, jednak dla osób niewidomych i słabowidzących ocena stanu żywności może stanowić poważne wyzwanie. Studenci Akademii Górniczo-Hutniczej w Krakowie postanowili wykorzystać sztuczną inteligencję, aby pomóc rozwiązać ten problem. Tworzona przez nich aplikacja mobilna pozwoli wykrywać powierzchniową pleśń na produktach spożywczych i przekazywać użytkownikowi informację zwrotną w formie głosowej.

Koło naukowe DataTeam tworzy aplikację mobilną wykrywająca pleśń na pożywieniu. To innowacyjne rozwiązanie będzie służyć w codziennym życiu osobom niewidomym i słabowidzącym. Projekt skierowany jest do niewidomych i słabowidzących ze względu na to, że takie osoby mają problem z rozpoznawaniem pleśni na jedzeniu, szczególnie jeśli nie jest rozpoznawalna w dotyku ani w zapachu. W takim przypadku muszą oni polegać na pomocy osób trzecich. Aplikacja mobilna, nad którą pracują studenci AGH, będzie wykorzystywać analizę wzorców.

Liczy się zdrowie i bezpieczeństwo

Grupa studentów kierunku Inżynieria i Analiza Danych (Wydział Geologii, Geofizyki i Ochrony Środowiska) wpadła na pomysł, aby stworzyć aplikację, która wykorzystując uczenie maszynowe, mogłaby pomóc w rozpoznawaniu powierzchownej pleśni. Osoba uruchamiająca aplikację ma możliwość zrobienia zdjęcia wybranego produktu telefonem, a następnie model przewiduje czy znajduje się na nim pleśń i daje odpowiedź zwrotną w formie głosowej o tym, czy jedzenie jest zdatne do spożycia.

– Dane uzyskujemy poprzez model uczenia maszynowego i są one pobierane z platformy Kaggle. Obecnie mamy stworzoną aplikację mobilną. Skupiamy się na tym, by aplikacja działała z dostępem oraz bez dostępu do internetu. W wersji bez dostępu celujemy w modele lżejsze, ale jednocześnie staramy się jak najbardziej podnieść poziom predykcji. Najważniejsze jest to, że liczy się zdrowie i bezpieczeństwo korzystających z aplikacji osób, dlatego kładziemy duży nacisk na to, żeby te prognozy były jak najbardziej dokładne – mówi Cyprian Szot z zespołu pracującego nad aplikacją.

Aplikacja gotowa we wrześniu

Studenci nawiązali współpracę z Uniwersytetem Rolniczym. Dzięki prof. Aleksandrze Dudzie, dziekan Wydziału Technologii Żywności uzyskali kolekcję potrzebnych zdjęć produktów spożywczych z pleśnią

Kolejnym istotnym krokiem studentów były konsultacje z twórcami interaktywnych wystaw w Womai w Krakowie, gdzie młodzi badacze omawiali, jakie funkcje w kontekście osób z dysfunkcjami wzroku powinna zawierać ich aplikacja.

Aktualnie studenci skupiają się na integracji modelu testowego, który pozwala robić zdjęcia wewnątrz aplikacji, aby móc je przechwytywać i używać ich do predykcji.

Ponadto gotowy jest m.in. podstawowy wygląd aplikacji, system głosowego informowania użytkowników, a programiści sprawdzają jak działają systemy Talk back i VoiceOver w systemach Android i Ios. Aplikacja powinna być gotowa we wrześniu. Należy też dodać, że baza produktów w aplikacji będzie ograniczona.

W skład zespołu wchodzą studenci: Kacper Potaczała, Filip Zagała, Jakub Skarbek, Bartek Tasak, Bartłomiej Żurek, Jakub Hus, Kamil Pyzik, Natalia Malcherek oraz Cyprian Szot. Opiekunem naukowym koła jest dr inż. Mateusz Zaręba.