Tato práce se zabývá různými přístupy extrahování klíčových slov z textových dokumentů. Celkem byly implementovány tři dobře známé metody - TF-IDF, LDA a GloVe (extrakce pomocí reprezentace slov vektory GloVe). Jejich algoritmy byly lehce upraveny tak, aby metody mohly využívat více příznaků než před tím. Byla také navržena vlastní metoda (označena jako ZKEM) kombinující všechny výše zmíněné přístupy a otestována stejným způsobem. Všechny tyto metody byly testovány a srovnány s metodami, účastnících se mezinárodní programovací soutěže SemEval 2010. Nejlepší metoda (vylepšená metoda TF-IDF) dosáhla úspěšnosti 25,95 %. Tento výsledek by stačil na druhé místo v soutěži SemEval.
Annotation in English
This thesis deals with different approaches to keyword extraction from text documents. Three well-known methods have been implemented - TF-IDF, LDA and GloVe (keyword extraction by representing words as GloVe's vectors). Their algorithms have been slightly improved so that the methods can use more features. Finally, a new method (denoted as ZKEM), combining all three approaches mentioned above, has been created and properly evaluated in the same way as the others. All methods have been tested and compared with the algorithms participated at international programming competition SemEval 2010. The best method (improved TF-IDF) has achieved 25.95% accuracy. This result would be enough to take second place at SemEval competition.
Keywords
Metody extrakce klíčových slov trénované bez učitele, TF-IDF, LDA, GloVE, SemEval 2010
Tato práce se zabývá různými přístupy extrahování klíčových slov z textových dokumentů. Celkem byly implementovány tři dobře známé metody - TF-IDF, LDA a GloVe (extrakce pomocí reprezentace slov vektory GloVe). Jejich algoritmy byly lehce upraveny tak, aby metody mohly využívat více příznaků než před tím. Byla také navržena vlastní metoda (označena jako ZKEM) kombinující všechny výše zmíněné přístupy a otestována stejným způsobem. Všechny tyto metody byly testovány a srovnány s metodami, účastnících se mezinárodní programovací soutěže SemEval 2010. Nejlepší metoda (vylepšená metoda TF-IDF) dosáhla úspěšnosti 25,95 %. Tento výsledek by stačil na druhé místo v soutěži SemEval.
Annotation in English
This thesis deals with different approaches to keyword extraction from text documents. Three well-known methods have been implemented - TF-IDF, LDA and GloVe (keyword extraction by representing words as GloVe's vectors). Their algorithms have been slightly improved so that the methods can use more features. Finally, a new method (denoted as ZKEM), combining all three approaches mentioned above, has been created and properly evaluated in the same way as the others. All methods have been tested and compared with the algorithms participated at international programming competition SemEval 2010. The best method (improved TF-IDF) has achieved 25.95% accuracy. This result would be enough to take second place at SemEval competition.
Keywords
Metody extrakce klíčových slov trénované bez učitele, TF-IDF, LDA, GloVE, SemEval 2010
