Tato diplomová práce zkoumá použití velkých jazykových modelů (LLM) pro automatizované generování softwarových testů, konkrétně GUI webových aplikací. Zvolený přístup zkoumá, zda vygenerované testy nejen odpovídají funkčním požadavkům softwaru, ale také zda jsou syntakticky správné a schopné odhalit i vložené chyby do softwaru. Výzkum zahrnuje návrh a vývoj automatizovaného nástroje, který využívá zpracování přirozeného jazyka k interpretaci popisů testů a generování odpovídajících testových skriptů. Tento nástroj byl důkladně vyhodnocen na vzorové webové aplikaci za účelem posouzení přesnosti, úplnosti a spolehlivosti jednotlivých výstupních testů. Výsledky naznačují, že nástroje založené na LLM dokáží efektivně generovat softwarové testy a úspěšně identifikovat vložené chyby do aplikace.
Anotace v angličtině
This thesis explores the use of large language models (LLMs) for automated generation of software tests, specifically GUI web applications. The chosen approach investigates whether the generated tests are not only matching the functional requirements of the software, but also whether they are syntactically correct and able to detect embedded bugs in the software. The research involves the design and development of an automated tool that uses natural language processing to interpret test descriptions and generate corresponding test scripts. This tool has been widely evaluated on a benchmark web application to assess the accuracy, completeness and reliability of each test output. The results indicate that LLM-based tools can efficiently generate software tests and successfully identify bugs embedded in the application.
Klíčová slova
LLM,testování,jednotkové,Robot Framework
Klíčová slova v angličtině
LLM,testing,unit,Robot Framework
Rozsah průvodní práce
108 s. (194 728 znaků)
Jazyk
CZ
Anotace
Tato diplomová práce zkoumá použití velkých jazykových modelů (LLM) pro automatizované generování softwarových testů, konkrétně GUI webových aplikací. Zvolený přístup zkoumá, zda vygenerované testy nejen odpovídají funkčním požadavkům softwaru, ale také zda jsou syntakticky správné a schopné odhalit i vložené chyby do softwaru. Výzkum zahrnuje návrh a vývoj automatizovaného nástroje, který využívá zpracování přirozeného jazyka k interpretaci popisů testů a generování odpovídajících testových skriptů. Tento nástroj byl důkladně vyhodnocen na vzorové webové aplikaci za účelem posouzení přesnosti, úplnosti a spolehlivosti jednotlivých výstupních testů. Výsledky naznačují, že nástroje založené na LLM dokáží efektivně generovat softwarové testy a úspěšně identifikovat vložené chyby do aplikace.
Anotace v angličtině
This thesis explores the use of large language models (LLMs) for automated generation of software tests, specifically GUI web applications. The chosen approach investigates whether the generated tests are not only matching the functional requirements of the software, but also whether they are syntactically correct and able to detect embedded bugs in the software. The research involves the design and development of an automated tool that uses natural language processing to interpret test descriptions and generate corresponding test scripts. This tool has been widely evaluated on a benchmark web application to assess the accuracy, completeness and reliability of each test output. The results indicate that LLM-based tools can efficiently generate software tests and successfully identify bugs embedded in the application.
Klíčová slova
LLM,testování,jednotkové,Robot Framework
Klíčová slova v angličtině
LLM,testing,unit,Robot Framework
Zásady pro vypracování
Seznamte se s existujícími velkými jazykovými modely (LLM), jejich technologií a možnostmi použití.
Prostudujte existující literaturu ohledně generování jednotkových testů, zejména s ohledem na využití neuronových sítí a LLM.
Seznamte se s existujícími ukázkovými programy s možností injekce chyb a vyberte vhodný testovací program.
Navrhněte a implementujte automatizovaný nástroj využívající popis testu v přirozené řeči, LLM a případně další informace, který vygeneruje sadu jednotkových testů.
Ověřte kvalitu automaticky vytvořených testů zejména s ohledem na přesnost a úplnost.
Zhodnoťte možnosti současných LLM pro generování testů.
Zásady pro vypracování
Seznamte se s existujícími velkými jazykovými modely (LLM), jejich technologií a možnostmi použití.
Prostudujte existující literaturu ohledně generování jednotkových testů, zejména s ohledem na využití neuronových sítí a LLM.
Seznamte se s existujícími ukázkovými programy s možností injekce chyb a vyberte vhodný testovací program.
Navrhněte a implementujte automatizovaný nástroj využívající popis testu v přirozené řeči, LLM a případně další informace, který vygeneruje sadu jednotkových testů.
Ověřte kvalitu automaticky vytvořených testů zejména s ohledem na přesnost a úplnost.
Zhodnoťte možnosti současných LLM pro generování testů.