Mis täpselt on "suured andmed"?

Ja miks see on suur leping?

"Suured andmed" on uus teadus inimkäitumise mõistmiseks ja ennustamiseks, uurides suuremahulisi struktureerimata andmeid. Suuri andmeid tuntakse ka kui "ennustatavat analüüsi".

Twitter-postituste, Facebooki voogude, eBay-otsingute, GPS-jälgijate ja ATM-masinate analüüsimine on mõned suured andmetüübid. Teisteks vormideks on turvideofotode, liiklusandmete, ilmateadete, lennureisijate, mobiiltelefonide tornide palkide ja südame löögisageduse trackerite uurimine. Suured andmed on räpased uued teadused, mis muutuvad kord nädalas ja ainult vähesed eksperdid mõistavad seda kõike.

Millised on suured andmed tavalisest elust?

screenshot http://project.wnyc.org/transit -time

Kuigi enamus suurte andmesideprojektide on väga varjatud, on üksikute ettevõtete, ettevõtete ja valitsuste igapäevaelu mõjutavate suurte andmete edukad näited edukad näited:

Viiruspuhangute prognoosimine: uurides sotsiaal-poliitilisi andmeid, ilmastikuolusid ja kliimaandmeid ning haiglate / kliinilisi andmeid, prognoosivad need teadlased 4-nädalase etteteatamisega denguepalaviku puhanguid.

Surmamise jälgimine: need suured andmesideprojektid profiilid mõrvavad ohvreid, kahtlustatavaid ja kurjategijaid Washingtonis. Nii see, et surnu austamiseks ja inimeste teadlikkuse suurendamiseks on see suur andmeprojekt, on põnev.

Transit Travel Planning, NYC: WNYC raadioprogrammeerija Steve Melendez ühendas internetikõnede metroo ajakava koos reisiplaani tarkvara. Tema looming võimaldab New Yorgi linnas kaardil oma asukohta klõpsata ja kuvatakse rongide ja metroo sõiduaja ennustus.

Xerox vähendas oma tööjõu kaotust: kõnekeskuse töö on emotsionaalselt väsitav. Xerox on professionaalsete analüütikute abiga uurinud andmeid, ja nüüd saavad nad prognoosida, milline kõnekeskuse töölevõtmine jääb tõenäoliselt ettevõtte kõige pikemaks ajaks.

Terrorismivastase võitluse toetamine: õiguskaitseorganid saavad ennustada ja leida terrorismis kahtlustatavad enne, kui nad teevad oma kuritegusid , uurides sotsiaalmeediat, rahandusalaseid dokumente, lennureisi ja turbeandmeid.

Sotsiaalse meediaga seotud reklaamide turunduse kohandamine : inimesed jagavad otseselt ja kiiresti oma publikut, restorani või spordiklubi veebimõtteid. Neid miljoneid sotsiaalmeedia postitusi on võimalik uurida ja anda ettevõtetele tagasisidet, mida inimesed oma teenustest arvavad.

Kes kasutab suuri andmeid? Mida nad seda teevad?

Paljud monoliitsed ettevõtted kasutavad suuri andmeid oma pakkumiste ja hindade kohandamiseks, et maksimeerida klientide rahulolu.

Miks on suured andmed nii suured?

4 asja annavad olulised andmed:

1. Andmed on tohutu. See ei sobi ühele kõvakettale , veelgi vähem USB-pulgale . Andmete maht ületab oluliselt seda, mida inimmõsus suudab tajuda (mõtle miljardile miljardile megabaitile ja seejärel korruta seda rohkem miljarditesse).

2. Andmed on räpane ja struktureerimata. 50% kuni 80% ulatuslikest andmetööstest on informatsiooni teisendamine ja puhastamine nii, et see oleks otsitav ja sorteeritav. Ainult mõni tuhat meie planeedi eksperti teavad, kuidas seda andmete puhastamist teha. Need eksperdid vajavad ka oma spetsiaalseid tööriistu, nagu HPE ja Hadoop. Võib-olla on kümne aasta pärast suured andmeeksperdid muutunud üheksateistkümnendaks, kuid praeguseks on nad väga haruldased analüütikute liigid ja nende töö on endiselt väga varjatud ja tüütu.

3. Andmed on saanud kaubaks **, mida saab müüa ja osta. Andmebaasid on olemas, kui ettevõtted ja üksikisikud saavad osta teräbasteid sotsiaalmeediast ja muudest andmetest. Enamik andmeid on pilvepõhised, kuna need on liiga suured, et mahutada ühte kõvakettale. Andmete ostmine hõlmab enamasti märkimislõivu, kui ühendate pilve serverite farmi.

** Suurte andmetööriistade ja ideede juhid on Amazon, Google, Facebook ja Yahoo. Kuna need ettevõtted teenivad nii palju miljoneid inimesi oma võrguteenustega, on mõistlik, et need oleksid kogumispunktid ja suurte andmeanalüütikute jaoks mõeldud visionäärid.

4. Suurte andmete võimalused on lõputud. Võib-olla annavad arstid ühel päeval ennustada südameinfarkti ja insuldi üksikisikutele nädalat enne nende tekkimist. Lennuki ja autode kokkupõrkeid võib vähendada nende mehaaniliste andmete, liiklus- ja ilmastikunäitajate ennustatava analüüsi abil. Online-dating võib parandada, kui teil on suured andmesisestuse prognoosid, kes sobivad teie jaoks sobivad isiksused. Muusikud võivad saada ülevaate sellest, milline muusikateos on sihtgruppide muutuvatele maitsele kõige meeldivam. Toitumisspetsialistid suudavad ennustada, milline kombinatsioon kauplustes ostetud toidust süvendab või aitab inimese tervislikel tingimustel. Pind on ainult kriimustatud ja igal nädalal toimuvad suured andmed.

Suured andmed on segased

Monty Rakusen / Getty

Suured andmed on ennustavate analüüsidega: massiivsete struktureerimata andmete konverteerimine midagi otsitavat ja sorteeritavat. See on räpane ja kaootiline ruum, mis nõuab erilisi teadmisi ja kannatlikkust.

Võtke näiteks monoliitset UPSi kohaletoimetamise teenust. UPSi programmeerijad uurivad oma juhtide GPS-i ja nutitelefonide andmeid, et analüüsida kõige tõhusamaid viise liiklusummikutega kohanemiseks. See GPS ja nutitelefoni andmed on ilusad ja ei ole automaatselt analüüsimiseks valmis. Need andmed valitakse erinevate GPS-i ja kaardiandmebaaside kaudu erinevate nutitelefoni riistvaraseadmete kaudu. UPSi analüütikud on kulutanud kuude kõik need andmed vormingusse, mida on lihtne otsida ja sorteerida. Kuid jõupingutused on seda väärt. Tänapäeval on UPS salvestanud üle 8 miljoni galloni kütuse, kuna nad hakkasid neid suurte andmete analüüside abil kasutama.

Kuna suured andmed on räpased ja vajavad nii palju pingutusi puhastamiseks ja kasutamiseks ettevalmistumiseks, on andmeteadlased hüüdnimega "andmehoidjad" saanud kogu nende tüütu tööks. The

Kuid suurenevate andmete ja prognoositavate analüüside teadustöö on igal nädalal paranemas. Oodake suuri andmeid, et saada 2025. aastaks kõigile kergesti kättesaadav.

Kas Big Data ei ole privaatset ohtu seades?

Feingersh / Getty

Jah, kui meie seadusi ja üksikisiku privaatsuse kaitset ei hallata hoolikalt, siis suurte andmete sissetungimine isikuandmete privaatsusse. Nagu praegu, Google, YouTube ja Facebook juba jälgida oma igapäevaseid veebiväliseid harjumusi . Teie nutitelefon ja arvutusliit jätavad iga päev digitaalseid jalajälgi, ja keerukad ettevõtted uurivad neid jalajälgi.

Suurte andmete ümberkujundamise seadused arenevad. Privaatsus on olukord, kus peate nüüd isikliku vastutuse võtma, sest te ei saa seda enam vaikimisi õigustada.

Mida saate oma privaatsuse kaitsmiseks teha?

Suurim üksikviis, mida võite võtta, on teie igapäevaste harjumuste varjamine VPN-võrguühendusega . VPN-teenus skrambleerib teie signaali, nii et teie identiteet ja asukoht on vähemalt osaliselt maskeeritud trackeritest. See ei tee teid 100% anonüümselt, kuid VPN vähendab oluliselt, kui palju maailm suudab teie veebiväljaharjumusi jälgida.

Kust saada suuremaid andmeid?

Monty Raskusen / Getty

Suured andmed on huvitavateks inimestele, kellel on analüütilised mõtted ja armastus tech. Kui see on teie, külastage kindlasti huvipakkuvate suurte andmeprojektide lehte.