Cílem práce je prozkoumat metody používané pro rozpoznávání pojmenovaných entit, z těchto technik jednu vybrat, implementovat, ověřit funkčnost porovnáním s již existujícími systémy a následně aplikovat na data pocházející ze sociálních médií, v nichž identifikuje názvy organizací a produktů.
Implementované řešení staví na knihovně pro strojové učení Brainy a pro realizaci používá jí poskytovaný algoritmus Conditional Random Fields. Vytvořený systém na standardním korpusu (Czech Named Entity Corpus) dosahuje podobných výsledků jako ten, který se snaží napodobit.
Systém pro korpus dosahuje úspěšnosti 70,69 % (Micro F-measure strict) a pro data pocházející ze sociálních sítí 83,04 %.
Hlavním přínosem této práce je vytvoření systému umožňujícího rozpoznávání pojmenovaných entit v textu a otestování jeho výkonnosti na komentářích pocházející z internetového fóra zaměřujícího se především na jednu doménu, kterou jsou telekomunikace.
Annotation in English
The goal of this thesis is to survey methods used for the Named-entity recognition, to choose one, implement it, verify the functionality by comparing it to an already existing system and apply it on data extracted from social media and recognize names of products and organisations.
The implemented solution builds on a machine learning library named Brainy and uses its Conditional Random Fields implementation. The created system achieves similar results on the Czech Named Entity Corpus as the system we try to reproduce.
The system performance for the corpus (measured in Micro F-measure strict) is 70.69 % and it scores 83.04 % for the social media data.
The main benefit this thesis brings is a system able to recognise named entities and test its performance on comments from a forum focusing on telecommunication.
Keywords
rozpoznávání pojmenovaných entit, strojové učení, sociální média
Keywords in English
Named-entity recognition, machine learning, social media
Length of the covering note
71 s. (18 677 slov)
Language
CZ
Annotation
Cílem práce je prozkoumat metody používané pro rozpoznávání pojmenovaných entit, z těchto technik jednu vybrat, implementovat, ověřit funkčnost porovnáním s již existujícími systémy a následně aplikovat na data pocházející ze sociálních médií, v nichž identifikuje názvy organizací a produktů.
Implementované řešení staví na knihovně pro strojové učení Brainy a pro realizaci používá jí poskytovaný algoritmus Conditional Random Fields. Vytvořený systém na standardním korpusu (Czech Named Entity Corpus) dosahuje podobných výsledků jako ten, který se snaží napodobit.
Systém pro korpus dosahuje úspěšnosti 70,69 % (Micro F-measure strict) a pro data pocházející ze sociálních sítí 83,04 %.
Hlavním přínosem této práce je vytvoření systému umožňujícího rozpoznávání pojmenovaných entit v textu a otestování jeho výkonnosti na komentářích pocházející z internetového fóra zaměřujícího se především na jednu doménu, kterou jsou telekomunikace.
Annotation in English
The goal of this thesis is to survey methods used for the Named-entity recognition, to choose one, implement it, verify the functionality by comparing it to an already existing system and apply it on data extracted from social media and recognize names of products and organisations.
The implemented solution builds on a machine learning library named Brainy and uses its Conditional Random Fields implementation. The created system achieves similar results on the Czech Named Entity Corpus as the system we try to reproduce.
The system performance for the corpus (measured in Micro F-measure strict) is 70.69 % and it scores 83.04 % for the social media data.
The main benefit this thesis brings is a system able to recognise named entities and test its performance on comments from a forum focusing on telecommunication.
Keywords
rozpoznávání pojmenovaných entit, strojové učení, sociální média
Keywords in English
Named-entity recognition, machine learning, social media
Research Plan
Prozkoumejte technologie pro rozpoznávání pojmenovaných entit a to zejména metody založené na strojovém učení.
Zvolte metodu a sadu příznaků vhodnou pro sociální média. Zvolené řešení implementujte.
Vytvořte data pro trénování a ověření zvoleného přístupu.
Výstup metody ověřte na vytvořených datech pomocí metrik precision, recall a F-measure. Výsledky zhodnoťte a porovnejte s dalšími systémy.
Research Plan
Prozkoumejte technologie pro rozpoznávání pojmenovaných entit a to zejména metody založené na strojovém učení.
Zvolte metodu a sadu příznaků vhodnou pro sociální média. Zvolené řešení implementujte.
Vytvořte data pro trénování a ověření zvoleného přístupu.
Výstup metody ověřte na vytvořených datech pomocí metrik precision, recall a F-measure. Výsledky zhodnoťte a porovnejte s dalšími systémy.