Apache Beam: PubsubReader epäonnistuu NPE: n kanssa

gk888 03/23/2017. 1 answers, 132 views
apache-beam

Minulla on aa palkkiputki, joka lukee PubSubista ja kirjoittaa BigQuerylle muutoksen jälkeen. Putki epäonnistuu yhdenmukaisesti NPE: n kanssa. Käytän SDK versio 0.6.0. Jokainen idea siitä, mitä voisin tehdä väärin? Yritän suorittaa putki DirectRunnerilla.

java.lang.NullPointerException
at org.apache.beam.sdk.io.PubsubUnboundedSource$PubsubReader.ackBatch(PubsubUnboundedSource.java:640)
at org.apache.beam.sdk.io.PubsubUnboundedSource$PubsubCheckpoint.finalizeCheckpoint(PubsubUnboundedSource.java:313)
at org.apache.beam.runners.direct.UnboundedReadEvaluatorFactory$UnboundedReadEvaluator.getReader(UnboundedReadEvaluatorFactory.java:174)
at org.apache.beam.runners.direct.UnboundedReadEvaluatorFactory$UnboundedReadEvaluator.processElement(UnboundedReadEvaluatorFactory.java:127)
at org.apache.beam.runners.direct.TransformExecutor.processElements(TransformExecutor.java:139)
at org.apache.beam.runners.direct.TransformExecutor.run(TransformExecutor.java:107)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745) 

1 Answers


Thomas Groh 03/24/2017.

Tämä ongelma johtuu DirectRunnerin bugista ( BEAM-1656 ) ja ehtona PubsubCheckpointissa. DirectRunner-bugi kiinnitettiin vetopyyntöön 2237 , joka sulautetaan Github-isännöintiin, mutta 0.6.0 julkaisun jälkeen.

Päivitys 0.7.0: n yörakennukseen tai rakennukseen github HEAD: ltä ratkaisee tämän ongelman DirectRunner-ohjelmaa käytettäessä.

Jos haluat päivittää nykyiseen yöpymiseen, sinun on lisättävä seuraaviin arkistoihin projektin pom.xml . 0.7.0-20170316.070901-9 sisältävä beam-runners-direct-java -moduulin varhaisin versio on 0.7.0-20170316.070901-9 , mutta kaikkia moduuleita ei ole rakennettu tähän erityiseen versioon, joten sinun on ehkä määriteltävä yksilöllisesti yhteensopivat versiot tai käytettävä 0.7.0-SNAPSHOT

              apache.snapshots        Apache Development Snapshot Repository https://repository.apache.org/content/repositories/snapshots/                  false                          true                   
3 comments
gk888 03/24/2017
Kiitos. Päivitys 0.7.0: ään SNAPSHOT näyttää ratkaise tämän virheen mutta tuo toisen java.lang.IllegalStateException: Cannot nackAll on persisting checkpoint at org.apache.beam.sdks.java.core.repackaged.com.google.common.‌​base.Preconditions.c‌​heckState(Preconditi‌​ons.java:444) ja minun gradlen kokoonpano on `org.apache.beam: beam-sdks-java-core: 0.7.0-SNAPSHOT", "org.apache.beam : palkki-SDK: t-java-io-google-pilvi-alustan: 0,7 0,0-SNAPSHOT "" org.ap ache.beam: säde-Runne rs-google-pilvi-datavirta-java: 0,7 0,0-SNAP SHOT", "org.apache.be am: säde-juoksijat-kohtalokkaita ct-java: 0.7.0-SNAPSH OT"
Thomas Groh 03/24/2017
Se johtuu kahden muun ongelman, BEAM-1182: n ja BEAM-1655: n yhdistelmästä . Vedä pyyntö # 2323 korjaa BEAM-1182: n, joten yönä oleva yöpyminen pitäisi toimia odotetusti.
gk888 03/28/2017
Yökerho näyttäisi korvanneen asian. Kiitos Thomas.

HighResolutionMusic.com - Download Hi-Res Songs

1 The Chainsmokers

Beach House flac

The Chainsmokers. 2018. Writer: Andrew Taggart.
2 (G)I-DLE

POP/STARS flac

(G)I-DLE. 2018. Writer: Riot Music Team;Harloe.
3 Ariana Grande

​Thank U, Next flac

Ariana Grande. 2018. Writer: Crazy Mike;Scootie;Victoria Monét;Tayla Parx;TBHits;Ariana Grande.
4 Anne-Marie

Rewrite The Stars flac

Anne-Marie. 2018. Writer: Benj Pasek;Justin Paul.
5 Clean Bandit

Baby flac

Clean Bandit. 2018. Writer: Jack Patterson;Kamille;Jason Evigan;Matthew Knott;Marina;Luis Fonsi.
6 Nicki Minaj

No Candle No Light flac

Nicki Minaj. 2018. Writer: Denisia “Blu June” Andrews;Kathryn Ostenberg;Brittany "Chi" Coney;Brian Lee;TJ Routon;Tushar Apte;ZAYN;Nicki Minaj.
7 BlackPink

Kiss And Make Up flac

BlackPink. 2018. Writer: Soke;Kny Factory;Billboard;Chelcee Grimes;Teddy Park;Marc Vincent;Dua Lipa.
8 Imagine Dragons

Bad Liar flac

Imagine Dragons. 2018. Writer: Jorgen Odegard;Daniel Platzman;Ben McKee;Wayne Sermon;Aja Volkman;Dan Reynolds.
9 BTS

Waste It On Me flac

BTS. 2018. Writer: Steve Aoki;Jeff Halavacs;Ryan Ogren;Michael Gazzo;Nate Cyphert;Sean Foreman;RM.
10 Halsey

Without Me flac

Halsey. 2018. Writer: Halsey;Delacey;Louis Bell;Amy Allen;Justin Timberlake;Timbaland;Scott Storch.
11 Little Mix

Woman Like Me flac

Little Mix. 2018. Writer: Nicki Minaj;Steve Mac;Ed Sheeran;Jess Glynne.
12 Brooks

Limbo flac

Brooks. 2018.
13 Fitz And The Tantrums

HandClap flac

Fitz And The Tantrums. 2017. Writer: Fitz And The Tantrums;Eric Frederic;Sam Hollander.
14 Backstreet Boys

Chances flac

Backstreet Boys. 2018.
15 Lady Gaga

I'll Never Love Again flac

Lady Gaga. 2018. Writer: Benjamin Rice;Lady Gaga.
16 Diplo

Close To Me flac

Diplo. 2018. Writer: Ellie Goulding;Savan Kotecha;Peter Svensson;Ilya;Swae Lee;Diplo.
17 Rita Ora

Velvet Rope flac

Rita Ora. 2018.
18 Bradley Cooper

Always Remember Us This Way flac

Bradley Cooper. 2018. Writer: Lady Gaga;Dave Cobb.
19 Imagine Dragons

Machine flac

Imagine Dragons. 2018. Writer: Wayne Sermon;Daniel Platzman;Dan Reynolds;Ben McKee;Alex Da Kid.
20 Erika Sirola

Speechless flac

Erika Sirola. 2018. Writer: Teemu Brunila;Stefan Dabruck;Jürgen Dohr;Guido Kramer;Dennis Bierbrodt;Chris Braide;Robin Schulz.

Related questions

Hot questions

Language

Popular Tags