Pozyskiwanie i analiza danych na temat ofert pracy z wykorzystaniem big data

• Autorzy: Jacek Maślankowski

Warianty tytułu

The Collection and Analysis of the Data on Job Advertisements with the Use of Big Data

• Języki publikacji: PL

Abstrakty

Celem artykułu jest zaprezentowanie korzyści wynikających z wykorzystania na potrzeby statystyki publicznej (rynku pracy) narzędzi do automatycznego pobierania danych na temat ofert pracy zamieszczanych na stronach internetowych zaliczanych do zbiorów big data, a także związanych z tym wyzwań. Przedstawiono wyniki eksperymentalnych badań z wykorzystaniem metod web scrapingu oraz text miningu. Analizie poddano dane z lat 2017 i 2018 pochodzące z najpopularniejszych portali z ofertami pracy. Odwołano się do danych Głównego Urzędu Statystycznego (GUS) zbieranych na podstawie sprawozdania Z-05. Przeprowadzona analiza prowadzi do wniosku, że web scraping może być stosowany w statystyce publicznej do pozyskiwania danych statystycznych z alternatywnych źródeł, uzupełniających istniejące bazy danych statystycznych, pod warunkiem zachowania spójności z istniejącymi badaniami. (abstrakt oryginalny)

EN

The goal of this paper is to present, on the one hand, the benefits for official statistics (labour market) resulting from the use of web scraping methods to gather data on job advertisements from websites belonging to big data compilations, and on the other, the challenges connected to this process. The paper introduces the results of experimental research where web-scraping and text-mining methods were adopted. The analysis was based on the data from 2017-2018 obtained from the most popular job-searching websites, which was then collated with Statistics Poland's data obtained from Z-05 forms. The above-mentioned analysis demonstrated that web-scraping methods can be adopted by public statistics services to obtain statistical data from alternative sources complementing the already-existing databases, providing the findings of such research remain coherent with the results of the already-existing studies. (original abstract)

Słowa kluczowe

PL

Big Data; Eksploracja tekstu; Rynek pracy

EN

Big Data; Text mining; Labour market

• Czasopismo: Wiadomości Statystyczne
• Rocznik: 2019
• Numer: nr 9
• Strony: 60--74

Twórcy

autor

Jacek Maślankowski

• Uniwersytet Gdański

Bibliografia

• Beręsewicz, M., Szymkowiak, M. (2015). Big data w statystyce publicznej - nadzieje, osiągnięcia, wyzwania i zagrożenia. Ekonometria, 2(48), 9-22. DOI: 10.15611/ekt.2015.2.01.
• Braaksma, B., Zeelenberg, K. (2015). "Re-make/Re-model": Should big data change the modelling paradigm in official statistics? Statistical Journal of the IAOS, 31(2), 193-202. DOI: 10.3233/sji -150892.
• Daas, P. J. H., Puts, M. J., Buelens, B., van den Hurk, P. A. M. (2015). Big Data as a Source for Official Statistics. Journal of Official Statistics, 31(2), 249-262. DOI: https://doi.org/10.1515/jos -2015-0016.
• Douglas, L. (2001). 3D Data Management: Controling Data Volume, Velocity and Variety. Pobrane z: http://blogs.gartner.com/doug- laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data -Volume-Velocity-and-Variety.pdf.
• Gałecka-Burdziak, E., Pater, R. (2015). Ile jest wolnych miejsc pracy w Polsce? Gospodarka Narodowa, 279(5), 171-186. DOI: https://doi.org/10.33119/GN/100855.
• GUS. (2018). Popyt na pracę w 2017 r. Warszawa: Główny Urząd Statystyczny.
• GUS. (2019). Popyt na pracę w 2018 r. Warszawa: Główny Urząd Statystyczny.
• Hackl, P. (2016). Big Data: What can official statistics expect? Statistical Journal of the IAOS, 32(1), 43-52. DOI: 10.3233/SJI-160965.
• Kitchin, R. (2015). The opportunities, challenges and risks of big data for official statistics. Statistical Journal of the IAOS, 31(3), 471-481. DOI: 10.3233/SJI-150906.
• Kurekova, L. M., Beblavy, M., Thum-Thysen, A. (2015). Using online vacancies and web surveys to analyse the labour market: a methodological inquiry. IZA Journal of Labor Economics, 4(18), 1-20. DOI: 10.1186/s40172-015- 0034-4.
• Maślankowski, J. (2014). Data Quality Issues Concerning Statistical Data Gathering Supported by Big Data Technology. W: S. Kozielski, D. Mrozek, P. Kasprowski, B. Małysiak-Mrozek, D. Kostrzewa (red.). Beyond Databases, Architectures and Structures (s. 92-101) Cham: Springer.
• Miller, S. (2014). Collaborative Approaches Needed to Close the Big Data Skills Gap. Journal of Organization Design, 3(1), 26-30. DOI: 10.7146/jod.9823.
• Rousidis, D., Garoufallou, E., Balatsoukas, P., Sicilia, M. (2014). Metadata for Big Data: a preliminary investigation of metadata quality issues in research data repositories. Information Services &Use, 34(3-4), 279-286. DOI: 10.3233/ISU-140746.
• Shahin, S. (2016). A Critical Axiology for Big Data Studies. Palabra Clave, 19(4), 972-996. DOI: 10.5294/pacla.2016.19.4.2.
• Vale, S. (2015). International collaboration to understand the relevance of Big Data for official statistics. Statistical Journal of the IAOS, 31(2), 159-163. DOI: 10.3233/sji-150889.