Tato práce se zabývá tvorbou algoritmu, který bude schopen detekovat určité medicínské nástroje (jehelec, pinzetu, nůžky) z obrazu. Další algoritmus bude schopen detekovat různé objekty v obraze, tato detekce bude použita k předzpracování videa. Společně tyto detekce vytvoří pro uživatel statistiku a ohodnocení výkonu. Nejprve jsou shrnuté současné přístupy ke zpracování obrazu. Dále jsou popsány datasety potřebné k trénování neuronových sítí. Poslední část se věnuje ověření funkčnosti natrénovaných neuronových sítí.
Anotace v angličtině
The focus of this bachelor thesis is to develop an algorithm that will be able to detect certain medical instruments (needle holder, tweezers, scissors) from an image. Another algorithm will be able to detect different objects in the image, this detection will be used to pre-process the video. Together these detections will produce statistics and performance ratings for the user. First, the current approaches to image processing are summarized. Next, the datasets needed to train the neural networks are described. The last section is devoted to validating the performance of the trained neural networks.
Neural network, detection, classification, metrics, loss function, bounding box, features, convolution, transfer learning
Rozsah průvodní práce
40 s. (82524 znaků)
Jazyk
CZ
Anotace
Tato práce se zabývá tvorbou algoritmu, který bude schopen detekovat určité medicínské nástroje (jehelec, pinzetu, nůžky) z obrazu. Další algoritmus bude schopen detekovat různé objekty v obraze, tato detekce bude použita k předzpracování videa. Společně tyto detekce vytvoří pro uživatel statistiku a ohodnocení výkonu. Nejprve jsou shrnuté současné přístupy ke zpracování obrazu. Dále jsou popsány datasety potřebné k trénování neuronových sítí. Poslední část se věnuje ověření funkčnosti natrénovaných neuronových sítí.
Anotace v angličtině
The focus of this bachelor thesis is to develop an algorithm that will be able to detect certain medical instruments (needle holder, tweezers, scissors) from an image. Another algorithm will be able to detect different objects in the image, this detection will be used to pre-process the video. Together these detections will produce statistics and performance ratings for the user. First, the current approaches to image processing are summarized. Next, the datasets needed to train the neural networks are described. The last section is devoted to validating the performance of the trained neural networks.
Neural network, detection, classification, metrics, loss function, bounding box, features, convolution, transfer learning
Zásady pro vypracování
Seznamte se s problematikou vyhodnocování událostí z videosekvencí. Zvláště se zaměřte na aplikace v medicíně a chirurgii.
Navrhněte a implementujte metodu hodnocení výkonu operatéra během nácviku chirurgického šití.
Ověřte funkci navržené metody prostřednictvím experimentu a vhodným způsobem vyhodnoťte funkčnost.
Zásady pro vypracování
Seznamte se s problematikou vyhodnocování událostí z videosekvencí. Zvláště se zaměřte na aplikace v medicíně a chirurgii.
Navrhněte a implementujte metodu hodnocení výkonu operatéra během nácviku chirurgického šití.
Ověřte funkci navržené metody prostřednictvím experimentu a vhodným způsobem vyhodnoťte funkčnost.
Seznam doporučené literatury
Čihák, R. (2016). Anatomie 3: Třetí, upravené a doplněné vydání. Grada Publishing.
Šonka, M., Hlaváč, V., & Boyle, R. (2014). Image Processing, Analysis, and Machine Vision Second Edition. Thomson-Engineering.
Lee, D., Won Yu, H., Kwon, H., Kong, H.-J., Eun Lee, K., & Chan Kim, H. (1964). Evaluation of Surgical Skills during Robotic Surgery by Deep Learning-Based Multiple Surgical Instrument Tracking in Training and Actual Operations. J. Clin. Med, 2020. https://doi.org/10.3390/jcm9061964
Liška, V., Baxa, J., Beneš, J., Brůha, J., Ferda, J., Hošek, P., Jansová, M., Jiřík, M., Jonášová, A., Králíčková, M., Křečková, J., Křen, J., Lobovský, L., Lukeš, V., Mírka, H., Pálek, R., Pešta, M., Pitule, P., Rohan, E., ... Vyčítal, O. (2016). Experimental surgery (V. Liška (ed.); 1st ed.). NAVA, s. r. o.
Goodfellow, IJ., Bengio, Y., Courville, A.: Deep Learning. Cambridge, MA, USA: MIT Press; 2016.
Seznam doporučené literatury
Čihák, R. (2016). Anatomie 3: Třetí, upravené a doplněné vydání. Grada Publishing.
Šonka, M., Hlaváč, V., & Boyle, R. (2014). Image Processing, Analysis, and Machine Vision Second Edition. Thomson-Engineering.
Lee, D., Won Yu, H., Kwon, H., Kong, H.-J., Eun Lee, K., & Chan Kim, H. (1964). Evaluation of Surgical Skills during Robotic Surgery by Deep Learning-Based Multiple Surgical Instrument Tracking in Training and Actual Operations. J. Clin. Med, 2020. https://doi.org/10.3390/jcm9061964
Liška, V., Baxa, J., Beneš, J., Brůha, J., Ferda, J., Hošek, P., Jansová, M., Jiřík, M., Jonášová, A., Králíčková, M., Křečková, J., Křen, J., Lobovský, L., Lukeš, V., Mírka, H., Pálek, R., Pešta, M., Pitule, P., Rohan, E., ... Vyčítal, O. (2016). Experimental surgery (V. Liška (ed.); 1st ed.). NAVA, s. r. o.
Goodfellow, IJ., Bengio, Y., Courville, A.: Deep Learning. Cambridge, MA, USA: MIT Press; 2016.
Přílohy volně vložené
-
Přílohy vázané v práci
ilustrace, grafy, schémata, tabulky
Převzato z knihovny
Ano
Plný text práce
Hodnocení z obhajoby práce
Výborně
Přílohy
Posudek(y) oponenta
Hodnocení vedoucího
Záznam průběhu obhajoby
Motivace,
Ukázka pracoviště,
Cíle práce,
Postup, Dataset,
Ukázky detekce nástrojů, Výsledky s augmentací a bez augmentace,
Demo ukázka - video
Jak pracují aktivační funkce umělých neuronových sítí? Jaké jsou jejich běžné typy?
Jaký algoritmus by šel použít, aby byl zahnut kontext sousedních snímků?
Podle čeho jste volil použité augmentace? Zkoumal jste dopad jednotlivých augmentací na trénování?
Čím si vysvětlujete, že jsou někde výsledky bez augmentace lepší než s augmentací?
Jaká je rychlost zpracování - jedná se o real time vyhodnocení?