Czy kromka chleba, owoc lub kawałek sera nadają się jeszcze do spożycia? Dla wielu osób odpowiedź jest oczywista, jednak dla osób niewidomych i słabowidzących ocena stanu żywności może stanowić poważne wyzwanie. Studenci Akademii Górniczo-Hutniczej w Krakowie postanowili wykorzystać sztuczną inteligencję, aby pomóc rozwiązać ten problem. Tworzona przez nich aplikacja mobilna pozwoli wykrywać powierzchniową pleśń na produktach spożywczych i przekazywać użytkownikowi informację zwrotną w formie głosowej.
Koło naukowe DataTeam tworzy aplikację mobilną wykrywająca pleśń na pożywieniu. To innowacyjne rozwiązanie będzie służyć w codziennym życiu osobom niewidomym i słabowidzącym. Projekt skierowany jest do niewidomych i słabowidzących ze względu na to, że takie osoby mają problem z rozpoznawaniem pleśni na jedzeniu, szczególnie jeśli nie jest rozpoznawalna w dotyku ani w zapachu. W takim przypadku muszą oni polegać na pomocy osób trzecich. Aplikacja mobilna, nad którą pracują studenci AGH, będzie wykorzystywać analizę wzorców.
Liczy się zdrowie i bezpieczeństwo
Grupa studentów kierunku Inżynieria i Analiza Danych (Wydział Geologii, Geofizyki i Ochrony Środowiska) wpadła na pomysł, aby stworzyć aplikację, która wykorzystując uczenie maszynowe, mogłaby pomóc w rozpoznawaniu powierzchownej pleśni. Osoba uruchamiająca aplikację ma możliwość zrobienia zdjęcia wybranego produktu telefonem, a następnie model przewiduje czy znajduje się na nim pleśń i daje odpowiedź zwrotną w formie głosowej o tym, czy jedzenie jest zdatne do spożycia.
– Dane uzyskujemy poprzez model uczenia maszynowego i są one pobierane z platformy Kaggle. Obecnie mamy stworzoną aplikację mobilną. Skupiamy się na tym, by aplikacja działała z dostępem oraz bez dostępu do internetu. W wersji bez dostępu celujemy w modele lżejsze, ale jednocześnie staramy się jak najbardziej podnieść poziom predykcji. Najważniejsze jest to, że liczy się zdrowie i bezpieczeństwo korzystających z aplikacji osób, dlatego kładziemy duży nacisk na to, żeby te prognozy były jak najbardziej dokładne – mówi Cyprian Szot z zespołu pracującego nad aplikacją.
Aplikacja gotowa we wrześniu
Studenci nawiązali współpracę z Uniwersytetem Rolniczym. Dzięki prof. Aleksandrze Dudzie, dziekan Wydziału Technologii Żywności uzyskali kolekcję potrzebnych zdjęć produktów spożywczych z pleśnią
Kolejnym istotnym krokiem studentów były konsultacje z twórcami interaktywnych wystaw w Womai w Krakowie, gdzie młodzi badacze omawiali, jakie funkcje w kontekście osób z dysfunkcjami wzroku powinna zawierać ich aplikacja.
Aktualnie studenci skupiają się na integracji modelu testowego, który pozwala robić zdjęcia wewnątrz aplikacji, aby móc je przechwytywać i używać ich do predykcji.
Ponadto gotowy jest m.in. podstawowy wygląd aplikacji, system głosowego informowania użytkowników, a programiści sprawdzają jak działają systemy Talk back i VoiceOver w systemach Android i Ios. Aplikacja powinna być gotowa we wrześniu. Należy też dodać, że baza produktów w aplikacji będzie ograniczona.
W skład zespołu wchodzą studenci: Kacper Potaczała, Filip Zagała, Jakub Skarbek, Bartek Tasak, Bartłomiej Żurek, Jakub Hus, Kamil Pyzik, Natalia Malcherek oraz Cyprian Szot. Opiekunem naukowym koła jest dr inż. Mateusz Zaręba.
