Ladataan tietoja Biqquery Partitioned -taulukkoon Google Dataflow / Beam -ohjelman avulla write_truncaten avulla

Sirius 02/21/2017. 1 answers, 336 views
python google-bigquery google-bigquery google-cloud-dataflow google-cloud-dataflow apache-beam

Joten nykyinen asetus, jonka käytimme uuden taulukon luomiseen jokaiselle päivälle, joka toimi hienosti "WRITE_TRUNCATE" -vaihtoehdolla, mutta päivitettäessä koodimme käyttämään osioitua taulukkoa, vaikka tietovirtamallamme, se ei toimisi write_truncaten kanssa.

Se toimii täydellisesti, ja kirjoitusasetelma on asetettu nimellä "WRITE_APPEND" (siitä, mitä ymmärsin palkista , se yrittää ehkä poistaa taulukon ja luoda sen uudelleen), koska toimitan pöydän sisustajalle, se ei luo uutta pöytä.

Näytepätkä python-koodilla:

beam.io.Write('Write({})'.format(date), beam.io.BigQuerySink(output_table_name + '$' + date, create_disposition=beam.io.BigQueryDisposition.CREATE_NEVER, write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE) 

joka antaa virheen:

Table IDs must be alphanumeric

koska se yritti luoda taulukon uudelleen, ja toimitamme osion sisustajan argumenttiin.

Seuraavassa on muutamia asioita, joita olen yrittänyt:

  1. Write_disposition päivitys WRITE_APPEND: nä, vaikka se toimii, epäonnistuu, koska saman päivämäärän suorittaminen uudelleen kopioisi tiedot.
  2. käyttämällä

bq --apilog /tmp/log.txt load --replace --source_format=NEWLINE_DELIMITED_JSON 'table.$20160101' sample_json.json

komento, nähdäkö, voinko tarkkailla mitä tahansa lokeja, miten katkaisu todella toimii perustuen linkkiin, jonka löysin.

  1. Joitakin muita linkkejä , mutta tämä käyttää myös WRITE_APPEND.

Onko olemassa tapaa kirjoittaa osioituun taulukkoon datavirtamuodosta käyttäen write_truncate-menetelmää?

Haluaisin tietää, tarvitaanko lisätietoja. Kiitos

4 Comments
Pablo 02/21/2017
Epäonnistuminen taulukon luomiseksi partitaattorilla voi olla vika. Sallikaa minun tarkistaa ja palata sinuun.
Pablo 02/21/2017
Voitteko tarjota pinon jäljen "Taulukkotunnuksillesi on oltava aakkosnumeerisia"?
Pablo 02/21/2017
Tarkistin IO dev: lla. Näyttää siltä, ​​että tätä ei tueta nyt. : /
Sirius 02/22/2017
Kiitos vastauksesta Pablo :), toivoin vain, että se ei poista taulukkoa TRUNCATElle ja tyhjentää kaikki rivit kyseiselle osioille, mutta luulen, että se ei toimi näin.

1 Answers


community wiki 03/17/2017.

Näyttää siltä, ​​että tätä ei tueta tällä hetkellä. Luottamus menee @Pabloon selvittämiseksi IO devista.

Github-sivun Beam-dokumentaation mukaan heidän JIRA-sivunsa olisi tarkoituksenmukaista pyytää tällaista ominaisuutta. Suosittelen lähettämään ominaisuuspyynnön siellä ja lähettämällä linkin kommenttiin täällä, jotta muut yhteisön jäsenet voivat seurata ja näyttää heidän tukensa.


HighResolutionMusic.com - Download Hi-Res Songs

1 The Chainsmokers

Beach House flac

The Chainsmokers. 2018. Writer: Andrew Taggart.
2 (G)I-DLE

POP/STARS flac

(G)I-DLE. 2018. Writer: Riot Music Team;Harloe.
3 Ariana Grande

​Thank U, Next flac

Ariana Grande. 2018. Writer: Crazy Mike;Scootie;Victoria Monét;Tayla Parx;TBHits;Ariana Grande.
4 Anne-Marie

Rewrite The Stars flac

Anne-Marie. 2018. Writer: Benj Pasek;Justin Paul.
5 Clean Bandit

Baby flac

Clean Bandit. 2018. Writer: Jack Patterson;Kamille;Jason Evigan;Matthew Knott;Marina;Luis Fonsi.
6 Nicki Minaj

No Candle No Light flac

Nicki Minaj. 2018. Writer: Denisia “Blu June” Andrews;Kathryn Ostenberg;Brittany "Chi" Coney;Brian Lee;TJ Routon;Tushar Apte;ZAYN;Nicki Minaj.
7 BlackPink

Kiss And Make Up flac

BlackPink. 2018. Writer: Soke;Kny Factory;Billboard;Chelcee Grimes;Teddy Park;Marc Vincent;Dua Lipa.
8 Imagine Dragons

Bad Liar flac

Imagine Dragons. 2018. Writer: Jorgen Odegard;Daniel Platzman;Ben McKee;Wayne Sermon;Aja Volkman;Dan Reynolds.
9 BTS

Waste It On Me flac

BTS. 2018. Writer: Steve Aoki;Jeff Halavacs;Ryan Ogren;Michael Gazzo;Nate Cyphert;Sean Foreman;RM.
10 Halsey

Without Me flac

Halsey. 2018. Writer: Halsey;Delacey;Louis Bell;Amy Allen;Justin Timberlake;Timbaland;Scott Storch.
11 Little Mix

Woman Like Me flac

Little Mix. 2018. Writer: Nicki Minaj;Steve Mac;Ed Sheeran;Jess Glynne.
12 Brooks

Limbo flac

Brooks. 2018.
13 Fitz And The Tantrums

HandClap flac

Fitz And The Tantrums. 2017. Writer: Fitz And The Tantrums;Eric Frederic;Sam Hollander.
14 Backstreet Boys

Chances flac

Backstreet Boys. 2018.
15 Lady Gaga

I'll Never Love Again flac

Lady Gaga. 2018. Writer: Benjamin Rice;Lady Gaga.
16 Diplo

Close To Me flac

Diplo. 2018. Writer: Ellie Goulding;Savan Kotecha;Peter Svensson;Ilya;Swae Lee;Diplo.
17 Rita Ora

Velvet Rope flac

Rita Ora. 2018.
18 Bradley Cooper

Always Remember Us This Way flac

Bradley Cooper. 2018. Writer: Lady Gaga;Dave Cobb.
19 Imagine Dragons

Machine flac

Imagine Dragons. 2018. Writer: Wayne Sermon;Daniel Platzman;Dan Reynolds;Ben McKee;Alex Da Kid.
20 Erika Sirola

Speechless flac

Erika Sirola. 2018. Writer: Teemu Brunila;Stefan Dabruck;Jürgen Dohr;Guido Kramer;Dennis Bierbrodt;Chris Braide;Robin Schulz.

Related questions

Hot questions

Language

Popular Tags