Skip to content

Files

Latest commit

fc056e3 · Oct 26, 2020

History

History
23 lines (20 loc) · 2.74 KB

readme.md

File metadata and controls

23 lines (20 loc) · 2.74 KB

Face Shield

Aplikacja zapobiegająca dotykaniu twarzy

banner

Pomysł

W związku z aktualną sytuacją na świecie, zastanawialiśmy się nad tym, jak zapobiegać rozprzestrzenianiu koronawirusa. Aplikacja faceshield dzięki danym z kamerki internetowej lub sensora Kinect wykrywa dotykanie twarzy, oraz informuje o tym użytkownika sygnałem dźwiękowym oraz informacją na ekranie. Celem aplikacji jest oduczenie od ciągłego dotykania twarzy, co powinno znacznie zmniejszyć ryzyko zakażenia.
detection

Technologie

Główny moduł został napisany w języku javascript, z użyciem Electron, Vue oraz Vuetify.
Aplikacja faceshield może korzystać z dwóch źródeł danych

Kamerka internetowa

Proces modułu kamery działa w ukrytym oknie Browser Window, umożliwiając wykorzystanie User Media API i TensorFlow.js. Odpowiada on za wczytywanie obrazu z kamery i znalezienie pozycji dłoni i twarzy. Główny proces aplikacji wykorzystuje te pozycje do wykrycia dotknięcia, poinformowania o nim i zapisania go w bazie danych. Do przesyłu danych między procesami używany jest system komunikacji międzyprocesowej wbudowany w Electron, dzięki czemu operacje uczenia maszynowego nie blokują gównego procesu. Domyślnie do uczenia maszynowego używany jest backend WebGL wykorzystujący kartę graficzną, ale istnieje też możliwość włączenia trybu CPU.

Sensor Kinect

Kinect posiada sensor głębi i nie korzysta ze sztucznej inteligencji, co znacznie zmniejsza użycie zasobów komputera. Sam moduł został napisany w języku C# i komunikuje się z frontendem za pomocą WebSocketów. Aplikacja - ze względu na dostępne materiały - pozwala na tą chwilę jedynie na korzystanie z Sensora Kinect wersji pierwszej (Xbox 360). Planujemy dodanie wsparcia dla Kinecta wersji drugiej (Xbox ONE), gdy będziemy posiadali odpowiedni zestaw deweloperski.

Do działania kinecta z systemem Windows wymagany jest sterownik, którego można pobrać tutaj.

Prezentacja

screen
screen
screen
screen