Téma práce je zaměřeno na aplikaci state-of-the-art konvolučních neuronových sítí za účelem rekonstrukce pózy lidské ruky z hloubkových dat pořízených kamerou Microsoft Kinect v2. V práci se věnuji současným metodám a přístupům k rekonstrukci pózy, problémům spojeným s trénováním neuronových sítí, tvorbě trénovacích dat, jejich normalizaci a konečně návrhu samotné architektury neuronové sítě pro účely regrese pózy lidské ruky. V závěru diskutuji dosažené výsledky.
Výstupem práce je jednak navržená architektura konvoluční neuronové sítě a jednak natrénovaný model. Zároveň jsem vytvořil modul pro snímání a segmentaci hloubkových dat z kamery včetně modulu pro vizualizaci výsledků rekonstrukce. Celý systém běží v reálném čase s využitím výpočtů na grafické kartě.
Anotace v angličtině
This thesis explores possibilities and contributions of state-of-the-art convolutional neural networks to hand pose estimation problem. Hand pose is estimated from depth images recorded by Microsoft Kinect v2 depth camera. Current hand estimation methods and neural networks in general are discussed. The focus is set on problems during neural network training, data creation and normalization. Whole chapter is devoted to regression convolution neural network model design. Finally, observed results are discussed in the last chapter.
This work produces both proposed and trained neural network model. Also, for real-word testing and demonstration purposes, both segmentation and visualization modules were developed. It is worth noting that whole pipeline runs in real time on GPU.
Klíčová slova
regrese, odhad parametrů, rekonstrukce pózy, 3D model, strojové učení, konvoluční neuronová síť
Téma práce je zaměřeno na aplikaci state-of-the-art konvolučních neuronových sítí za účelem rekonstrukce pózy lidské ruky z hloubkových dat pořízených kamerou Microsoft Kinect v2. V práci se věnuji současným metodám a přístupům k rekonstrukci pózy, problémům spojeným s trénováním neuronových sítí, tvorbě trénovacích dat, jejich normalizaci a konečně návrhu samotné architektury neuronové sítě pro účely regrese pózy lidské ruky. V závěru diskutuji dosažené výsledky.
Výstupem práce je jednak navržená architektura konvoluční neuronové sítě a jednak natrénovaný model. Zároveň jsem vytvořil modul pro snímání a segmentaci hloubkových dat z kamery včetně modulu pro vizualizaci výsledků rekonstrukce. Celý systém běží v reálném čase s využitím výpočtů na grafické kartě.
Anotace v angličtině
This thesis explores possibilities and contributions of state-of-the-art convolutional neural networks to hand pose estimation problem. Hand pose is estimated from depth images recorded by Microsoft Kinect v2 depth camera. Current hand estimation methods and neural networks in general are discussed. The focus is set on problems during neural network training, data creation and normalization. Whole chapter is devoted to regression convolution neural network model design. Finally, observed results are discussed in the last chapter.
This work produces both proposed and trained neural network model. Also, for real-word testing and demonstration purposes, both segmentation and visualization modules were developed. It is worth noting that whole pipeline runs in real time on GPU.
Klíčová slova
regrese, odhad parametrů, rekonstrukce pózy, 3D model, strojové učení, konvoluční neuronová síť
Nastudujte současný stav problematiky rekonstrukce tvaru (gesta) a orientace lidské ruky. Zaměřte se na problematiku rekonstrukce provedené z obrazu jednoho nebo více hloubkových senzorů.
Nastudujte a zpracujte současnou problematiku návrhu a trénování konvolučních umělých neuronových sítí určených pro zpracování obrazových informací.
Vytvořte kolekci zkušebních dat ve formě vzorových hloubkových obrazů. Data budou zachycovat pohled na lidskou ruku v daném tvaru a natočení. Uvažujte jak uměle generovaná data tak i data skutečné ruky.
Navrhněte vlastní metodu(y) rekonstrukce tvaru a/nebo orientace lidské ruky, metoda bude využívat principů konvolučních neuronových sítí. Metoda zajistí zpracování vstupních hloubkových dat např. z hloubkového senzoru MS Kinect a jejich vyhodnocení na výstupu.
Ověřte navrženou metodu(y) na vytvořené kolekci dat, zhodnoťte výsledky formou experimentu.
Zásady pro vypracování
Nastudujte současný stav problematiky rekonstrukce tvaru (gesta) a orientace lidské ruky. Zaměřte se na problematiku rekonstrukce provedené z obrazu jednoho nebo více hloubkových senzorů.
Nastudujte a zpracujte současnou problematiku návrhu a trénování konvolučních umělých neuronových sítí určených pro zpracování obrazových informací.
Vytvořte kolekci zkušebních dat ve formě vzorových hloubkových obrazů. Data budou zachycovat pohled na lidskou ruku v daném tvaru a natočení. Uvažujte jak uměle generovaná data tak i data skutečné ruky.
Navrhněte vlastní metodu(y) rekonstrukce tvaru a/nebo orientace lidské ruky, metoda bude využívat principů konvolučních neuronových sítí. Metoda zajistí zpracování vstupních hloubkových dat např. z hloubkového senzoru MS Kinect a jejich vyhodnocení na výstupu.
Ověřte navrženou metodu(y) na vytvořené kolekci dat, zhodnoťte výsledky formou experimentu.