Wybrane aspekty składowania i przetwarzania danych typu big data

• Autorzy: Michał Pajęcki

Warianty tytułu

Selected Aspects of Storing and Processing Big Data

• Języki publikacji: PL

Abstrakty

Każdego dnia zbiory danych o różnym stopniu ustrukturyzowania znacząco zwiększają swój rozmiar. Implikuje to konieczność przetwarzania zasobów o niespotykanej dotychczas wielkości i strukturze. Do zagadnień związanych ze zbieraniem, przechowywaniem, przetwarzaniem, analizą i wizualizacją dużych zbiorów danych odnosi się termin big data. Analiza takich obszernych, heterogenicznych zasobów ułatwia podejmowanie trafnych decyzji, w tym dotyczących kwestii zrównoważonego rozwoju. W pracy przedstawiono wyniki przeglądu literatury dotyczące genezy, definicji i podejścia badaczy do technologii big data. Omówiono rolę i znaczenie danych niestrukturalnych oraz rozproszonego systemu plików (na przykładzie HDFS). Wskazano także potencjalne źródła danych mogące zasilać repozytorium typu big data w przedsiębiorstwie produkcyjnym.(abstrakt oryginalny)

EN

The data sets with different degrees of structure are significantly increasing in size every day. Therefore, the resources of unprecedented size and structure must be processed. The issues relating to the collection, storage, processing, analysis and visualization of large data sets are called big data. An analysis of such extensive heterogeneous resources helps to make good decisions, including decisions on the issue of sustainable development. This article shows the results of a literature review about genesis, definition and approach of researchers to big data. The role and meaning of unstructured data and distributed file system (illustrated with an example of HDFS example) were discussed. Potential sources of data can feed the big data repository in production companies were presented. (original abstract)

Słowa kluczowe

PL

Big Data; Rozwój zrównoważony; Analiza danych; Przetwarzanie danych

EN

Big Data; Sustainable development; Data analysis; Data processing

• Czasopismo: Studia i Materiały Wydziału Zarządzania i Administracji Wyższej Szkoły Pedagogicznej im. Jana Kochanowskiego w Kielcach
• Rocznik: 2018
• Numer: R. 22, nr 2, t. 1 Rozwój zrównoważony - aspekty ekonomiczne, społeczne i środowiskowo-techniczne w wymiarach globalnym, krajowym i regionalnym
• Strony: 347--358

Twórcy

autor

Michał Pajęcki

• Politechnika Świętokrzyska

Bibliografia

• Apache Hadoop, [online] https://pl.wikipedia.org/wiki/Apache_Hadoop (10.07.2018).
• Berger Ch., Mining Structured Data and Unstructured Data using Oracle Advanced Analytics 12c, Oracle 2016, [online] https://blogs.oracle.com/datamining/mining-structured-data-and-unstructured-data-using-oracle-advanced-analytics-12c (30.07.2018).
• Big data, [online] https://en.wikipedia.org/wiki/Big_data (10.07.2018).
• Diebold F., On the origins and development of Big Data: the phenomenon, the term, and the discipline, 2012, [online] https://www.sas.upenn.edu/~fdiebold/papers/paper112/Diebold_Big_Data.pdf (12.07.2018).
• Filip D., Big Data - narzędzie instytucji finansowych w dotarciu do klienta, "Ekonomia. Wrocław Economic Review" 2015, 21/3, s. 39-53.
• Gil M., Apache Hadoop, platforma do gromadzenia, przetwarzania i analizy dużych zbiorów danych, "Journal of Computer Sciences Institute" 2017, vol. 4, s. 70-75.
• Główny Urząd Statystyczny, Idea zrównoważonego rozwoju, 2017, [online] http://stat.gov.pl/zrownowazony-rozwoj/idea-zrownowazonego-rozwoju (20.07.2018).
• Gornowicz M., Romaniuk K., Szczubełek G., Ekonomika produkcji, Uniwersytet Warmińsko--Mazurski w Olsztynie, Olsztyn 2014.
• Huadong G., Big Earth data: A new frontier in Earth and information sciences, "Big Earth Data" 2017, vol. 1, issue 1-2.
• IBM, The Flood of Big Data, 2012, [online] http://www.ibmbigdatahub.com/infographic/flood-big-data (25.07.2018).
• IDC, The Business Case for Environmental Excellence is Real, Atos Origin 2009, [online] https://mvonederland.nl/file/6877/download (25.07.2018).
• Jurczyk-Bunkowska M., Pawełoszek I., Wieczorkowski J., Big Data w zarządzaniu działalnością operacyjną przedsiębiorstw produkcyjnych, "Zeszyty Naukowe Politechniki Częstochowskiej. Zarządzanie" 2017, nr 26.
• Komisja Europejska, Komunikat Komisji. Europa 2020. Strategia na rzecz inteligentnego i zrównoważonego rozwoju sprzyjającego włączeniu społecznemu, Bruksela 2010, [online] http://ec.europa.eu/eu2020/pdf/1_PL_ACT_part1_v1.pdf (10.07.2018).
• Laney D., 3D data management: Controlling data volume, velocity and variety, META Group 2001, [online] http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf (10.07.2018).
• Lohr S., The Origins of 'Big Data': An Etymological Detective Story, New York Times 2013, [online] https://bits.blogs.nytimes.com/2013/02/01/the-origins-of-big-data-an-etymological-detective-story/ (12.07.2018).
• M.A. Beyer, D. Laney, The Importance of Big Data: A Denition, Gartner 2012, [online] https://www.gartner.com/doc/2057415 (30.07.2018).
• MPiT, Realizacja Celów Zrównoważonego Rozwoju w Polsce. Raport 2018 [online] https://www.mpit.gov.pl/media/54729/Raport_VNR_wer_do_uzgodnien_20180330.pdf (20.07.2018).
• Prajsnar P., Dzięki Big Data można śledzić klientów i... walczyć z malarią, "Forbes" 2016, [online] https://www.forbes.pl/csr/do-czego-google-wykorzystuje-big-data/qhttm17 (21.07.2018).
• Racka K., Big data - znaczenie, zastosowania i rozwiązania technologiczne, "Zeszyty Naukowe PWSZ w Płocku. Nauki Ekonomiczne" 2016, tom XXIII.
• Raczko R., Big data w inżynierii, "Mechanik", nr 7/2016.
• Reinsel D., Gantz J., Rydning, J., Data age 2025: The evolution of data to life-critical don't focus on big data, IDC, Seagate 2017, [online] https://www.seagate.com/wwwcontent/our-story/trends/files/Seagate-WP-DataAge2025-March-2017.pdf (28.07.2018).
• Siudziński M., Hadoop, czyli przetwarzanie rozproszone w open source, 2015, [online] https://itwiz.pl/hadoop-czyli-przetwarzanie-rozproszone-open-source (12.07.2018).
• Srinithya L., Venkata Rami Reddy G., Performance Evaluation of Hadoop Distributed file System and Local File System, "International Journal of Science and Research" 2014, vol. 3, issue 9.
• Taylor Ch., Structured vs. Unstructured Data, 2018, [online] https://www.datamation.com/big-data/structured-vs-unstructured-data.html (30.07.2018).
• Usama M., Liu M., Chen M., Job schedulers for Big data processing in Hadoop environment: testing real-life schedulers using benchmark programs, "Digital Communications and Networks" 2017, vol. 3, issue 4.