Tématem této práce je prostudovat možnost využití technologie počítačového vidění
pro rozšíření funkčnosti virtuálního domácího asistenta pro chytrou domácnost.
Práce popisuje proces tvorby virtuálního asistenta pro chytré domácnosti v kontextu
konceptu Ambient Assisted Living (AAL) pro seniory. AAL zahrnuje používání zařízení a
způsobů, jak zajistit, aby starší lidé byli schopni dožívat v domově v bezpečí s podporou
monitirovacích systemů. Tyto technologie usnadňují život seniorů a do určité míry zvysuji
jich samostatnost.
Hlavními funkcemi implementovaného virtuálního asistenta jsou sběr statistických informací o činnosti uživatele, zjišťování jeho stavu a reakce na mimořádné události. Mezi
další funkce patří možnost ovládat zařízení chytré domácnosti pomocí gest.
Pro polohu těla, aktivitu a rozpoznávání gest se používá technologie hlubokého strojového učení. Některé úlohy, jako je určování polohy těla a rukou, jsou řešeny pomocí
předem natrénovaných neuronových sítí z frameworku Google Mediapipe. Specifičtější
úkoly, jako je určování gest rukou a pozice uživatele, jsou řešeny pomocí neuronových sítí
trénovaných na datech shromážděných během prace na projektu. Specialni pozornost je
věnována procesu výběru architektury neuronových sítí s přihlédnutím k řešeným úlohám
a porovnávání jejich metrik.
Výsledkem práce, který je uveden v závěru, je program virtuálního asistentu založený na technologii počítačového vidění ve fázi "proof of concept", který splňuje uvedené
funkční požadavky.
V závěru jsou diskutováne potenciální aplikace pro vyvinutý systém, prozkoumána
možnosti jeho zlepšení a modernizace a představené možnosti použití projektu v jiných
oblastech.
Anotace v angličtině
The topic of this work is to study the possibility of using computer vision technology
to expand the functionality of a virtual home assistant for a smart home.
The thesis describes the process of creating a virtual assistant for smart homes in the
context of the concept of Ambient Assisted Living (AAL) for the elderly. AAL involves
the use of technologies and ways to ensure that the older persons stay safe and are able
to age in place. These technologies makes lives of the older persons easier and to some
extent, self-dependent.
The main functions of the implemented virtual assistant are the collection of statistical
information about the user's activity, determining his state and responding to emergencies.
Additional functionality includes the ability to control smart home devices using gestures.
For body position, activity and gesture recognition deep machine learning technology
is used. Some tasks, such as determining the position of the body and hands, are solved
using pre-trained neural networks from the Google Mediapipe framework. More specific
tasks, such as determining hand gestures and user pose are solved by using neural networks
trained on data collected during the project. Special attention is paid to the process of
choosing the architecture of neural networks, taking into account the tasks being solved
and to comparing their metrics.
The result of the work, which is presented in the conclusion, is a virtual assistant
program based on computer vision technology at the "proof of concept" stage that meets
the stated functional requirements.
The conclusion also delves into potential applications for the developed system, explores avenues for improvement and modernization, and examines the feasibility of applying
the project's advancements in other domains.
Klíčová slova
Počítačové vidění, Domácí asistent, Asistované bydlení, Goodle Mediapipe, Odhad
polohy těla, odhad gest, neuronová síť.
Klíčová slova v angličtině
Home assistant, Ambient Assisted Living, Computer vision, Google Mediapipe, Neural
network, Pose estimation, Gesture estimation.
Rozsah průvodní práce
54
Jazyk
AN
Anotace
Tématem této práce je prostudovat možnost využití technologie počítačového vidění
pro rozšíření funkčnosti virtuálního domácího asistenta pro chytrou domácnost.
Práce popisuje proces tvorby virtuálního asistenta pro chytré domácnosti v kontextu
konceptu Ambient Assisted Living (AAL) pro seniory. AAL zahrnuje používání zařízení a
způsobů, jak zajistit, aby starší lidé byli schopni dožívat v domově v bezpečí s podporou
monitirovacích systemů. Tyto technologie usnadňují život seniorů a do určité míry zvysuji
jich samostatnost.
Hlavními funkcemi implementovaného virtuálního asistenta jsou sběr statistických informací o činnosti uživatele, zjišťování jeho stavu a reakce na mimořádné události. Mezi
další funkce patří možnost ovládat zařízení chytré domácnosti pomocí gest.
Pro polohu těla, aktivitu a rozpoznávání gest se používá technologie hlubokého strojového učení. Některé úlohy, jako je určování polohy těla a rukou, jsou řešeny pomocí
předem natrénovaných neuronových sítí z frameworku Google Mediapipe. Specifičtější
úkoly, jako je určování gest rukou a pozice uživatele, jsou řešeny pomocí neuronových sítí
trénovaných na datech shromážděných během prace na projektu. Specialni pozornost je
věnována procesu výběru architektury neuronových sítí s přihlédnutím k řešeným úlohám
a porovnávání jejich metrik.
Výsledkem práce, který je uveden v závěru, je program virtuálního asistentu založený na technologii počítačového vidění ve fázi "proof of concept", který splňuje uvedené
funkční požadavky.
V závěru jsou diskutováne potenciální aplikace pro vyvinutý systém, prozkoumána
možnosti jeho zlepšení a modernizace a představené možnosti použití projektu v jiných
oblastech.
Anotace v angličtině
The topic of this work is to study the possibility of using computer vision technology
to expand the functionality of a virtual home assistant for a smart home.
The thesis describes the process of creating a virtual assistant for smart homes in the
context of the concept of Ambient Assisted Living (AAL) for the elderly. AAL involves
the use of technologies and ways to ensure that the older persons stay safe and are able
to age in place. These technologies makes lives of the older persons easier and to some
extent, self-dependent.
The main functions of the implemented virtual assistant are the collection of statistical
information about the user's activity, determining his state and responding to emergencies.
Additional functionality includes the ability to control smart home devices using gestures.
For body position, activity and gesture recognition deep machine learning technology
is used. Some tasks, such as determining the position of the body and hands, are solved
using pre-trained neural networks from the Google Mediapipe framework. More specific
tasks, such as determining hand gestures and user pose are solved by using neural networks
trained on data collected during the project. Special attention is paid to the process of
choosing the architecture of neural networks, taking into account the tasks being solved
and to comparing their metrics.
The result of the work, which is presented in the conclusion, is a virtual assistant
program based on computer vision technology at the "proof of concept" stage that meets
the stated functional requirements.
The conclusion also delves into potential applications for the developed system, explores avenues for improvement and modernization, and examines the feasibility of applying
the project's advancements in other domains.
Klíčová slova
Počítačové vidění, Domácí asistent, Asistované bydlení, Goodle Mediapipe, Odhad
polohy těla, odhad gest, neuronová síť.
Klíčová slova v angličtině
Home assistant, Ambient Assisted Living, Computer vision, Google Mediapipe, Neural
network, Pose estimation, Gesture estimation.
Zásady pro vypracování
Design an implementation of a virtual assistant based on computer vision for controlling a smart home.
Implement selected functions to demonstrate the capabilities of the virtual assistant for controlling a smart home.
Discuss the possibilities of using a virtual assistant for aging people living alone in the home and monitoring their life activities.
Zásady pro vypracování
Design an implementation of a virtual assistant based on computer vision for controlling a smart home.
Implement selected functions to demonstrate the capabilities of the virtual assistant for controlling a smart home.
Discuss the possibilities of using a virtual assistant for aging people living alone in the home and monitoring their life activities.
Seznam doporučené literatury
VOBORNÍK, A., VEŘTÁT, I., LINHART, R. Experimental electric power system for small satellites with independent supply channels. In International Conference on Applied Electronics (AE 2018) : /proceedings/. Pilsen: University of West Bohemia, 2018. s. 155-161. ISBN: 978-80-261-0721-7 , ISSN: 1803-7232.
GANSSLE, J. A Designer's Guide to Watchdog Timers. Accessible online - https://www.digikey.com/en/articles/a-designers-guide-to-watchdog-timers
Seznam doporučené literatury
VOBORNÍK, A., VEŘTÁT, I., LINHART, R. Experimental electric power system for small satellites with independent supply channels. In International Conference on Applied Electronics (AE 2018) : /proceedings/. Pilsen: University of West Bohemia, 2018. s. 155-161. ISBN: 978-80-261-0721-7 , ISSN: 1803-7232.
GANSSLE, J. A Designer's Guide to Watchdog Timers. Accessible online - https://www.digikey.com/en/articles/a-designers-guide-to-watchdog-timers
Přílohy volně vložené
-
Přílohy vázané v práci
ilustrace, grafy, schémata
Převzato z knihovny
Ano
Plný text práce
Hodnocení z obhajoby práce
Velmi dobře
Přílohy
Posudek(y) oponenta
Hodnocení vedoucího
Záznam průběhu obhajoby
Student odprezentoval svoji práci. Byly přečteny posudky vedoucího a oponenta práce. Oponent přednesl dotazy a student je odpověděl. V následující diskuzi student reagoval na dotazy ohledně nočního vidění a možnosti realizace na jiném hardware než PC.