Google Cloud Dataflow Cloud Storageiin

Somasundaram Sekar 03/03/2017. 2 answers, 221 views
google-cloud-storage google-cloud-storage google-cloud-dataflow google-cloud-dataflow google-cloud-dataproc google-cloud-dataproc apache-beam

kirjoita kuvan kuvaus tähän Viitearkkitehtuurin yläpuolella ilmenee pilvitietolähestymisen pilvimuodostuma, mutta Beam-sovellusliittymä, joka näyttää olevan nykyinen oletusdatavirta-sovellusliittymä, ei ole lueteltu Cloud Storage I / O -liitäntää.

kirjoita kuvan kuvaus tähän

Voiko joku auttaa selvittämään, onko olemassa sellaista, mikä ei ole, mikä on vaihtoehto tiedon siirtämiseen Dataflowista Cloud Storage -muotoon.

2 Answers


Graham Polley 03/03/2017.

Beam ei tue GCS: n kirjoittamista / lukemista. Käytät yksinkertaisesti TextIO luokkia.

https://beam.apache.org/documentation/sdks/javadoc/0.2.0-incubating/org/apache/beam/sdk/io/TextIO.html

Jos haluat lukea PCollection yhdestä tai useammasta tekstitiedostosta, käytä TextIO.Read. Voit kopioida muunnoksen käyttämällä TextIO.Read.from (String) -tiedostoa, jos haluat määrittää tiedostojen polun (esimerkiksi paikallisen tiedostonimen tai tiedostonimen, jos sitä käytetään paikallisesti, tai Google Cloud Storage -tiedoston tai tiedostonimikuvan lomake "gs: ///" ).


chamikara 03/03/2017.

Voit käyttää TextIO: ia, AvroIO: ta tai muita liitäntöjä, jotka lukee / kirjoittaa tiedostoille GCS: n kanssa. Beam tunnistaa kaikki tiedostopolut, jotka alkavat "gs: //": lla GCS: lle. Beam tekee tämän käyttämällä pluggable FileSystem [1] -rajapintaa.

[1] https://github.com/apache/beam/blob/master/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/storage /GcsFileSystem.java

Related questions

Hot questions

Language

Popular Tags