info

index

logo

STRESZCZENIE

Tematem pracy są metody umożliwiające komunikowanie się ludzi z urządzeniami (komputerami) za pomocą gestów rąk obserwowanych przez kamery. Na podstawie własnych badań autorzy omawiają następujące zagadnienia:

  • identyfikacja skóry ludzkiej z wykorzystaniem różnych przestrzeni barw i różnych metod klasyfikacji opartej na modelach rozkładu koloru skóry,
  • rozpoznawanie kształtu dłoni, w szczególności liter polskiego alfabetu palcowego,
  • rozpoznawanie poleceń wydawanych za pomocą prostych gestów statycznych i dynamicznych,
  • rozpoznawanie wypowiedzi języka migowego, używanego w Polsce w sytuacjach formalnych, z wykorzystaniem zarówno modeli całych słów, jak i modeli jednostek mniejszych niż słowa, przypominających fonemy w rozpoznawaniu mowy,
  • zastosowanie hierarchicznych pamięci czasowych (nowego paradygmatu obliczeniowego wykorzystującego zasady przetwarzania informacji w korze nowej ssaków oparte na przestrzenno-czasowym kodowaniu oraz hierarchicznej organizacji) do rozpoznawania kształtów dłoni o silnie zróżnicowanej orientacji; sekwencji kształtów składających się na wypowiedzi migowe przedstawiające akronimy; wypowiedzi migowych w formie izolowanych słów,
  • podstawowe metody przetwarzania chmur punktów, czyli struktur danych używanych do reprezentowania zbiorów punktów w obrazowaniu 3D, w szczególności wykorzystującym kamery Time of Flight,
  • pakiety oprogramowania stosowane do dodawania, edycji, wizualizacji i przeszukiwania adnotacji tekstowych do plików audio i wideo; ukrytych modeli Markowa; hierarchicznych pamięci czasowych; obliczeń z zakresu wizji komputerowej; przetwarzania chmur punktów oraz gromadzenia i udostępniania wyników badań i zarządzania dokumentowaniem eksperymentów,
  • ważniejsze wykorzystane metody: przestrzenie barw, elastyczne grafy, ukryte modele Markowa, nieliniowa transformacja czasowa, odległość edycji, hierarchiczne pamięci czasowe.


  • Wysocki M., Kapuściński T., Marnik J., Oszust M., Rozpoznawanie gestów wykonywanych rękami w systemie wizyjnym, Oficyna Wydawnicza Politechniki Rzeszowskiej, ISBN 978-83-7199-701-3, Rzeszów, 2011