Tato práce se zabývá analýzou využití strojového překladu v úlohách porozumění přirozenému jazyku. Prozkoumává možnosti použití českých strojových překladů anglických datasetů pro trénování modelů strojového učení a jejich aplikace na úlohu inference přirozeného jazyka. Pro překlad datasetů využívá online služeb strojového překladu. Proces trénování využívá přeneseného učení a existujících předtrénovaných modelů. Cílem práce je zhodnocení výsledků českých modelů trénovaných na přeložených datech a porovnání s výsledky anglických modelů trénovaných na ekvivalentních originálních datech.
Annotation in English
This paper analyzes the usage of machine translation in natural language understanding tasks. It explores the possibilities of using Czech machine translation of English datasets for training machine learning models and their application on natural language inference tasks. It uses online machine translation services for dataset translation. The training process utilizes transfer learning and existing pre-trained models. Finally, it evaluates the results of Czech models trained on translated data and compares them to the performance of English models trained on equivalent original data.
Keywords
zpracování přirozeného jazyka, porozumění přirozenému jazyku, inference přirozeného jazyka, strojové učení, přenesené učení, neuronové sítě, transformer, strojový překlad
Keywords in English
natural language processing, natural language understanding, natural language inference, machine learning, transfer learning, neural networks, transformer, machine translation
Length of the covering note
54 s
Language
CZ
Annotation
Tato práce se zabývá analýzou využití strojového překladu v úlohách porozumění přirozenému jazyku. Prozkoumává možnosti použití českých strojových překladů anglických datasetů pro trénování modelů strojového učení a jejich aplikace na úlohu inference přirozeného jazyka. Pro překlad datasetů využívá online služeb strojového překladu. Proces trénování využívá přeneseného učení a existujících předtrénovaných modelů. Cílem práce je zhodnocení výsledků českých modelů trénovaných na přeložených datech a porovnání s výsledky anglických modelů trénovaných na ekvivalentních originálních datech.
Annotation in English
This paper analyzes the usage of machine translation in natural language understanding tasks. It explores the possibilities of using Czech machine translation of English datasets for training machine learning models and their application on natural language inference tasks. It uses online machine translation services for dataset translation. The training process utilizes transfer learning and existing pre-trained models. Finally, it evaluates the results of Czech models trained on translated data and compares them to the performance of English models trained on equivalent original data.
Keywords
zpracování přirozeného jazyka, porozumění přirozenému jazyku, inference přirozeného jazyka, strojové učení, přenesené učení, neuronové sítě, transformer, strojový překlad
Keywords in English
natural language processing, natural language understanding, natural language inference, machine learning, transfer learning, neural networks, transformer, machine translation
Research Plan
Nastudujte problematiku neuronových sítí v oblasti porozumění textu a zaměřte se na techniky nazývané transfer-learning a jejich použití v NLP úlohách.
Proveďte rešerži dostupných nástrojů pro automatický strojový překlad.
Použijte vybraný nástroj pro automatický překlad anglického datasetu do češtiny.
Natrénujte NLP model na původním anglickém datasetu a na přeloženém datasetu s využitím transfer-learningu.
Výsledky obou modelů porovnejte a analyzujte dosažené výsledky. Navrhněte případná vylepšení.
Research Plan
Nastudujte problematiku neuronových sítí v oblasti porozumění textu a zaměřte se na techniky nazývané transfer-learning a jejich použití v NLP úlohách.
Proveďte rešerži dostupných nástrojů pro automatický strojový překlad.
Použijte vybraný nástroj pro automatický překlad anglického datasetu do češtiny.
Natrénujte NLP model na původním anglickém datasetu a na přeloženém datasetu s využitím transfer-learningu.
Výsledky obou modelů porovnejte a analyzujte dosažené výsledky. Navrhněte případná vylepšení.
Recommended resources
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, (Mlm). Retrieved from http://arxiv.org/abs/1810.04805
Liu, X., He, P., Chen, W., & Gao, J. (2019). Multi-Task Deep Neural Networks for Natural Language Understanding, 4487–4496. https://doi.org/10.18653/v1/p19-1441
Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.
Další literaturu dodá vedoucí DP
Recommended resources
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, (Mlm). Retrieved from http://arxiv.org/abs/1810.04805
Liu, X., He, P., Chen, W., & Gao, J. (2019). Multi-Task Deep Neural Networks for Natural Language Understanding, 4487–4496. https://doi.org/10.18653/v1/p19-1441
Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.
Další literaturu dodá vedoucí DP
Enclosed appendices
-
Appendices bound in thesis
-
Taken from the library
Yes
Full text of the thesis
Thesis defence evaluation
Excellent
Appendices
Reviewer's report
Supervisor's report
Defence procedure record
Motivace,
Úloha interference přirozeného jazyka,
Datasety pro úlohu NLI,
Strojový překlad strojového překladu,
Postup strojového překladu,
Předtrénované modely,
Postup trénování,
Výsledky anglických modelů / českých modelů
Závěr
Čím si vysvětlujete, že část testovacích dat český model klasifikuje správně, zatímco anglický model špatně?
A co může být příčinou obdobného chování, kdy jeden z českých překladů je klasifikován správně a druhý chybně?
Co myslíte sítěmi s krátkodobou pamětí? Jde o sítě LSTM?