Mikä on Apache Beam? [suljettu]

Viswa 02/08/2016. 2 answers, 11.776 views
apache-beam

Olin läpi Apache-virkaa ja löysin uuden termin nimeltä Beam. Voiko kukaan selittää, mikä Apache Beam on? Yritin mennä ulos, mutta en saanut selkeää vastausta.

2 Comments
3 Joel 02/10/2016
Lähin asia on Spark (Sekä Erä ja Streaming). Tässä on hyvä vertailu Apache Beam (aiemmin nimeltään Google DataFlow) ja Spark-prosessointi cloud.google.com/dataflow/blog/...

2 Answers


Frances 01/10/2017.

Apache Beam on avoin lähdekoodi, yhtenäinen malli sekä erä- että suoratoistotietojen rinnakkaisprosessointiputkistojen määrittämistä ja suorittamista varten sekä joukko kielikohtaisia ​​SDK: ita putkien ja runtime-spesifisten juoksijoiden rakentamiseksi niiden suorittamiseksi.

History: Beam-mallin malli kehittyi useista Googlen sisäisistä tietojenkäsittelyhankkeista, mukaan lukien MapReduce , FlumeJava ja Millwheel . Tätä mallia kutsuttiin alun perin nimellä " Dataflow Model " ja se toteutettiin ensimmäisenä Google Cloud Dataflow -palveluna - mukaan lukien GitHubissa Java-SDK, jolla kirjoitettiin putkilinjoja ja täysin hallinnoitava palvelu niiden suorittamiseen Google Cloud Platformissa. Muut yhteisöt alkoivat kirjoittaa laajennuksia, kuten Spark Runner , Flink Runner ja Scala SDK . Tammikuussa 2016 Google ja useat kumppanit lähettivät Dataflow-ohjelmointimallin ja SDK: n osan Apache-hautomainokseksi Apache Beam -nimellä (yhtenäinen erä + strEAM-käsittely). Apache Beam valmistui inkuboinnista joulukuussa 2016.

Lisäresursseja säteen mallin oppimiseen:

2 comments
Minudika 02/28/2016
Hei, seurasin tämän ongelman issues.apache.org/jira/browse/ZEPPELIN-682, joka on suuniteltu GSOC 2016: lle. Voitteko antaa minulle resursseja perehtyä Apache Beam? Kiitos
Pierre Mage 02/28/2016
@Minudika Apache Beam Java SDK todennäköisesti ei ole käytettävissä ennen maalis-toukokuussa 2016 ja Python SDK ennen kesää 2016. Sinun pitäisi luultavasti alkaa siellä: mail-archives.apache.org/mod_mbox/incubator-beam-dev/...

nealmcb 06/21/2017.

Apache Beam (Batch + strEAM) on mallia ja joukkoa sovellusliittymiä sekä erän että suoratoistoprosessoinnin tekemiseen. Google avasi avoimen lähdekoodin (Cloudera ja PayPal) vuonna 2016 Apache-hautomohankkeen kautta.

Sivut Dataflow / Beam & Spark: Ohjelmointimallien vertailu - Cloud Dataflow eroaa Beam API: n kanssa Apache Sparkilla , joka on menestyksekkäästi onnistunut tuomaan modernin, joustavan API: n ja optimointitekniikoiden sekä lähetys- että suoratoistoon Hadoop-maailmaan. pidemmälle.

Beam yrittää ottaa kaiken tämän askeleen eteenpäin mallin avulla, jonka avulla on helppo kuvata out-of-order processing eri osa-alueita, jotka ovat usein kysymys erä- ja suoratoistoprosessoinnin yhdistämisessä, kuten tässä Programming Model Comparison on kuvattu.

Erityisesti vertailusta kertovaa Dataflow-mallia on suunniteltu käsittelemään tyylikkäästi ja moduulisemmin, kestävämmin ja helpommin ylläpitävällä tavalla:

... neljän kriittisen kysymyksen kaikkien tietojenkäsittelyn harjoittajien on pyrittävä vastaamaan putkilinjojensa rakentamisessa:

  • Mitä tuloksia lasketaan? Summat, liittymät, histogrammit, koneoppimallit?
  • Missä tapahtumien aikana lasketaan tulokset? Onko tulosten alunperin tapahtunut jokaisen tapahtuman aika? Tulokset kootaan kiinteisiin ikkunoihin, istuntoihin tai yhteen globaaliin ikkunaan?
  • Kun käsittelyajat ovat tuloksia toteutuneet? Tapahtuu, kuinka usein jokainen tapahtuma havaitaan järjestelmässä? Milloin tulokset ovat peräisin? Spekulatiivisesti, kun tiedot kehittyvät? Kun tiedot saapuvat myöhässä ja tuloksia on tarkistettava? Osa näiden yhdistelmästä?
  • Kuinka tulosten tarkentaminen liittyy? Jos ylimääräiset tiedot saapuvat ja tulokset muuttuvat, ovatko ne itsenäisiä ja erillisiä, rakentavatko ne toisilleen jne.?

Beamissa kuvattuja putkia voidaan vuorostaan ​​käyttää Sparkilla, Flinkillä, Googlen Dataflow -tarjonnalla pilvessä ja muissa "ajoituksissa", mukaan lukien "Suora" paikalliskonevaihtoehto.

Arkkitehtuuri tukee useita kieliä. Java SDK on nyt saatavilla. Dataflow Python SDK on lähellä vapauttamista, ja toiset on suunniteltu Scala jne.

Katso lähde Apache Beam : n peilistä

Related questions

Hot questions

Language

Popular Tags