Tato práce se zabývá automatizovaným sběrem dat z elektronických loterií. Cílem je vytvořit program, který bude na základě konfigurace provádět pro jednotlivé loterie tzv. web scraping, tedy automatizované získávání dat. V teoretické části práce jsou podrobně popsány možnosti implementace automatizovaného sběru dat. Dále je uveden popis, jakým způsobem jsou dostupná data u konkrétních vybraných elektronických loterií. Pro srovnání je kromě web crawleru implementován i program, který získává data pomocí API, přičemž práce oba přístupy srovnává. Praktická část obsahuje zejména popis implementace práce, včetně jednotlivých realizačních detailů obou programů.
Annotation in English
This thesis focuses on automatic data retrieval from electronic lotteries. The goal is to create a program that, based on the configuration, will perform the so-called web scraping, i.e. automated data acquisition for individual lotteries. In the theoretical part of the thesis, the possibilities of implementing automatic data retrieval are described in detail. Furthermore, a description of how data is available for specific selected electronic lotteries is provided. For comparison, in addition to the web crawler, a program that retrieves data using an API has been implemented, and the thesis compares both approaches. The practical part mainly contains a description of the job implementation, including individual implementation details of both programs.
Keywords
API, elektronické loterie, web crawler, web scraping, získávání dat
Keywords in English
API, electronic lotteries, web crawler, web scraping, data retrieval
Length of the covering note
61
Language
CZ
Annotation
Tato práce se zabývá automatizovaným sběrem dat z elektronických loterií. Cílem je vytvořit program, který bude na základě konfigurace provádět pro jednotlivé loterie tzv. web scraping, tedy automatizované získávání dat. V teoretické části práce jsou podrobně popsány možnosti implementace automatizovaného sběru dat. Dále je uveden popis, jakým způsobem jsou dostupná data u konkrétních vybraných elektronických loterií. Pro srovnání je kromě web crawleru implementován i program, který získává data pomocí API, přičemž práce oba přístupy srovnává. Praktická část obsahuje zejména popis implementace práce, včetně jednotlivých realizačních detailů obou programů.
Annotation in English
This thesis focuses on automatic data retrieval from electronic lotteries. The goal is to create a program that, based on the configuration, will perform the so-called web scraping, i.e. automated data acquisition for individual lotteries. In the theoretical part of the thesis, the possibilities of implementing automatic data retrieval are described in detail. Furthermore, a description of how data is available for specific selected electronic lotteries is provided. For comparison, in addition to the web crawler, a program that retrieves data using an API has been implemented, and the thesis compares both approaches. The practical part mainly contains a description of the job implementation, including individual implementation details of both programs.
Keywords
API, elektronické loterie, web crawler, web scraping, získávání dat
Keywords in English
API, electronic lotteries, web crawler, web scraping, data retrieval
Research Plan
Seznamte se s technikami získávání dat z webových stránek (tzv. web scrapingu) formou automatického harvestování prováděného pomocí tzv. web crawlerů.
Prostudujte možnosti existujících web crawlerů a analyzujte vhodnost jejich použití na automatizované získávání dat z elektronických loterií a to jak historických dat, tak i dat získávaných v reálném čase.
Navrhněte a vypracujte postupy přípravy (konfigurace) zvolených web crawlerů pro různé konkrétní elektronické loterie a vhodně navrhněte datový formát pro stahovaná data (např. CSV), včetně popisu aktualizace při opakovaném stahování.
Realizujte opakovaný web scraping všech dostupných historických dat z vybraných elektronických loterií i web scraping v reálném čase pro loterie generující data s vysokou frekvencí.
Připravte uživatelskou dokumentaci v podobě metodické příručky popisující, jak si připravit vlastní web crawler pro úplně nový typ elektronické loterie.
Research Plan
Seznamte se s technikami získávání dat z webových stránek (tzv. web scrapingu) formou automatického harvestování prováděného pomocí tzv. web crawlerů.
Prostudujte možnosti existujících web crawlerů a analyzujte vhodnost jejich použití na automatizované získávání dat z elektronických loterií a to jak historických dat, tak i dat získávaných v reálném čase.
Navrhněte a vypracujte postupy přípravy (konfigurace) zvolených web crawlerů pro různé konkrétní elektronické loterie a vhodně navrhněte datový formát pro stahovaná data (např. CSV), včetně popisu aktualizace při opakovaném stahování.
Realizujte opakovaný web scraping všech dostupných historických dat z vybraných elektronických loterií i web scraping v reálném čase pro loterie generující data s vysokou frekvencí.
Připravte uživatelskou dokumentaci v podobě metodické příručky popisující, jak si připravit vlastní web crawler pro úplně nový typ elektronické loterie.