Práce má sloužit jako propojení dvou oborů. Oboru Zpracování přirozeného jazyka a oboru Filosofie. Jedná se tak o kulminaci mého studijního programu Filosofie pro umělou inteligenci. Mým cílem je popsat principy modelování přirozeného jazyka do takové míry, aby se v oboru mohl začít orientovat i laik. Na druhou stranu chci také popsat myšlenky Wittgensteinovy pozdní filosofie, aby byly pochopitelné pro někoho, kdo nemá filosofické školení. Třetím a finálním cílem je popsat postup, který by mohl vést ke tvorbě jazykového modelu filosofa za využití před-trénovaných transformerů.
Anotace v angličtině
The work is intended to serve as a bridge between two disciplines. The field of Natural Language Processing and the field of Philosophy. It is thus the culmination of my degree program in Philosophy for Artificial Intelligence. My goal is to describe the principles of natural language modeling to the extent that a layperson can begin to navigate the field. On the other hand, I also want to describe the ideas of Wittgenstein's late philosophy so that they can be understood by someone with no philosophical training. The third and final goal is to describe a procedure that could lead to the creation of a language model of a philosopher using pre-trained transformers.
Translated with www.DeepL.com/Translator (free version)
Klíčová slova
Wittgenstein, jazykový model, filosofie, AI, strojové učení
Klíčová slova v angličtině
Wittgenstein, language model, phillosophy, machine learning, AI
Rozsah průvodní práce
52 s. (113 374 znaků)
Jazyk
CZ
Anotace
Práce má sloužit jako propojení dvou oborů. Oboru Zpracování přirozeného jazyka a oboru Filosofie. Jedná se tak o kulminaci mého studijního programu Filosofie pro umělou inteligenci. Mým cílem je popsat principy modelování přirozeného jazyka do takové míry, aby se v oboru mohl začít orientovat i laik. Na druhou stranu chci také popsat myšlenky Wittgensteinovy pozdní filosofie, aby byly pochopitelné pro někoho, kdo nemá filosofické školení. Třetím a finálním cílem je popsat postup, který by mohl vést ke tvorbě jazykového modelu filosofa za využití před-trénovaných transformerů.
Anotace v angličtině
The work is intended to serve as a bridge between two disciplines. The field of Natural Language Processing and the field of Philosophy. It is thus the culmination of my degree program in Philosophy for Artificial Intelligence. My goal is to describe the principles of natural language modeling to the extent that a layperson can begin to navigate the field. On the other hand, I also want to describe the ideas of Wittgenstein's late philosophy so that they can be understood by someone with no philosophical training. The third and final goal is to describe a procedure that could lead to the creation of a language model of a philosopher using pre-trained transformers.
Translated with www.DeepL.com/Translator (free version)
Klíčová slova
Wittgenstein, jazykový model, filosofie, AI, strojové učení
Klíčová slova v angličtině
Wittgenstein, language model, phillosophy, machine learning, AI
Zásady pro vypracování
Cílem práce je prozkoumat možnosti využití systému umělé inteligence, konkrétně jazykových modelů GPT, k simulování Wittgensteinova pozdního myšlení, jež kulminuje ve Filozofických zkoumáních.
Diplomant si osvojí práci s jazykovými modely a zpracování textů pomocí neuronových sítí a zároveň prozkoumá Wittgensteinovo pozdní dílo po obsahové i formální stránce.
V rámci teoretické části diplomové práce navrhne metodologii simulace Wittgensteinova pozdního myšlení pomocí jazykového modelu a posoudí její využitelnost a úskalí.
Praktickým výstupem diplomové práce bude pokus o aplikaci v podobě natrénovaného jazykového modelu, který by generoval odpovědi ve stylu Wittgensteinových Filozofických zkoumání.
Diplomová práce bude pravidelně konzultována s vedoucím práce a bude vypracována v souladu s platnou vyhláškou děkana O požadavcích na bakalářské a diplomové práce a o konání státních závěrečných zkoušek v bakalářských
a navazujících magisterských studijních programech.
Diplomant se zavazuje při práci dodržovat citační standardy a vhodnou interpretaci normy konzultovat s vedoucím.
Zásady pro vypracování
Cílem práce je prozkoumat možnosti využití systému umělé inteligence, konkrétně jazykových modelů GPT, k simulování Wittgensteinova pozdního myšlení, jež kulminuje ve Filozofických zkoumáních.
Diplomant si osvojí práci s jazykovými modely a zpracování textů pomocí neuronových sítí a zároveň prozkoumá Wittgensteinovo pozdní dílo po obsahové i formální stránce.
V rámci teoretické části diplomové práce navrhne metodologii simulace Wittgensteinova pozdního myšlení pomocí jazykového modelu a posoudí její využitelnost a úskalí.
Praktickým výstupem diplomové práce bude pokus o aplikaci v podobě natrénovaného jazykového modelu, který by generoval odpovědi ve stylu Wittgensteinových Filozofických zkoumání.
Diplomová práce bude pravidelně konzultována s vedoucím práce a bude vypracována v souladu s platnou vyhláškou děkana O požadavcích na bakalářské a diplomové práce a o konání státních závěrečných zkoušek v bakalářských
a navazujících magisterských studijních programech.
Diplomant se zavazuje při práci dodržovat citační standardy a vhodnou interpretaci normy konzultovat s vedoucím.
Seznam doporučené literatury
ALAMMAR J. The Illustrated GPT-2 (Visualizing Transformer Language Models). [online]. 12.08.2019. [13.07.2022]. Dostupné z: https://jalammar.github.io/illustrated-gpt2/
RADFORD A. Language Models are Unsupervised Multitask Learners. In: OpenAi. [online]. 2019. [13.07.2022]. Dostupné z: https://github.com/openai/gpt-2
STERN D. Wittgenstein's Philosophical Investigations. An introduction. Cambridger: Cambridge University Press 2004. ISBN-13 978-0-521-81442-3.
WEINBERG J. Philosophers On GPT-3 (updated with replies by GPT-3). In: Daily Nous. [online]. 2020. [13.07.2022]. Dostupné z: https://dailynous.com/2020/07/30/philosophers-gpt-3/
WITTGENSTEIN L., ANSCOMBE G. E. M., HACKER P. M. S. a SCHULTE J. Philosophical investigations. Rev. 4th ed. Malden, MA: Wiley-Blackwell, 2009. ISBN 978-1-405-15928-9.
Seznam doporučené literatury
ALAMMAR J. The Illustrated GPT-2 (Visualizing Transformer Language Models). [online]. 12.08.2019. [13.07.2022]. Dostupné z: https://jalammar.github.io/illustrated-gpt2/
RADFORD A. Language Models are Unsupervised Multitask Learners. In: OpenAi. [online]. 2019. [13.07.2022]. Dostupné z: https://github.com/openai/gpt-2
STERN D. Wittgenstein's Philosophical Investigations. An introduction. Cambridger: Cambridge University Press 2004. ISBN-13 978-0-521-81442-3.
WEINBERG J. Philosophers On GPT-3 (updated with replies by GPT-3). In: Daily Nous. [online]. 2020. [13.07.2022]. Dostupné z: https://dailynous.com/2020/07/30/philosophers-gpt-3/
WITTGENSTEIN L., ANSCOMBE G. E. M., HACKER P. M. S. a SCHULTE J. Philosophical investigations. Rev. 4th ed. Malden, MA: Wiley-Blackwell, 2009. ISBN 978-1-405-15928-9.