info

zespol

gesty ciała

Rozpoznawanie gestów ciała

Prace nad systemem zainspirowane zostały publikacjami opisującymi projekt „The Kids Room”, w którym określone zachowania dzieci są interpretowane przez komputer i na ich podstawie generowane są zadania dla bawiących się dzieci. Projekt obejmuje zagadnienia dotyczące przetwarzania i rozpoznawania obrazów. Umiejętność identyfikacji określonych czynności wykonywanych przez człowieka w połączeniu z efektami graficznymi i dźwiękowymi może stanowić atrakcyjną formę komunikacji z komputerem, bardziej przyjazną dla człowieka. Szczególne znaczenie może to mieć w przypadku dzieci, które nie potrafią posługiwać się myszką i klawiaturą.

Więcej

zespol

kształt dłoni

Rozpoznawanie kształtu dłoni

Osoby, które nie mogą porozumiewać się z innymi za pomocą mowy, używają do tego celu gestów. Najwięcej treści przekazywanych jest z użyciem rąk. Gdyby możliwe było „rozumienie” przez komputer takich gestów, to standardowe urządzenia wejściowe (myszka i klawiatura) mogłyby zostać zastąpione bardziej naturalną dla człowieka formą interakcji z komputerem. Prezentowany projekt miał na celu stworzenie tego typu interfejsu dla komputerów. Przygotowane narzędzia w aktualnej postaci pozwalają na interpretowania 8-miu prostych gestów statycznych, wyrażanych poprzez nadanie dłoni odpowiedniego kształtu.

Więcej

zespol

SJM

Rozpoznawanie wyrazów i zdań Systemu Językowo-Migowego

Celem projektu jest opracowanie i weryfikacja metod przybliżających zbudowanie systemu wizyjnego do rozpoznawania słów i zdań przedstawianych za pomocą gestów SJM. Podstawą rozpoznawania są sekwencje wizyjne z kamery kolorowej. Nie używa się środków pomocniczych (np. rękawic z różnokolorowymi palcami), ale zakłada się, że gesty są wykonywane starannie. Skoncentrowano się na rozpoznawaniu wyrazów i prostych zdań występujących w wybranej sytuacji życiowej (u lekarza i na poczcie), ograniczając się do manualnych środków wyrazu.

Więcej

zespol

tablica

Wirtualna tablica

Gesty wykonywane rękami wykorzystywane są w systemach rzeczywistości wirtualnej. Dłonie służą tutaj do manipulacji obiektami sztucznymi wytworzonymi przez komputer. Wirtualna tablica składa się ze zwykłej białej tablicy szkolnej i komputera sprzężonego z kamerą kolorową i rzutnikiem multimedialnym. Użytkownik wykonujący gesty na tle tablicy jest obserwowany przez kamerę. Obraz przekazywany jest do komputera, który interpretuje gesty użytkownika i wyświetla informacje zwrotną na tablicy z wykorzystaniem rzutnika multimedialnego.

Więcej

zespol

tablica

Porozumiewanie się za pomocą mrugania

Komputer jest obsługiwany za pomocą mrugnięć oczu, rejestrowanych z użyciem kamery skierowanej na twarz. Wykorzystano algorytmy analizy obrazu użyte w kodach źródłowych programu bLink dostępnego na zasadach open source. Opracowano sposób konfiguracji systemu komputerowego, istotnej dla komfortu użytkowania i przygotowano programy ułatwiające komunikację ujęte w formie biblioteki. Biblioteka została użyta do opracowania myszki ekranowej obsługiwanej za pomocą mrugnięć. Myszka w połączeniu z ekranową klawiaturą daje użytkownikowi możliwość pełnego korzystania z komputera bez konieczności budowania aplikacji dostosowanych do konkretnych potrzeb.

Więcej