apache / apache/iotdb

Previous exception in task: org.apache.thrift.transport.TSocket.<init>(Lorg/apache/thrift/TConfiguration;Ljava/lang/String;II)V

Abierto
#13,187 2 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Java
Estrellas
6.4k
Forks
1.2k
Merge medio
1 d 23 h
PR fusionados (30 d)
115

Descripción

spark2.4 访问 IoTDB-1.31.1 发生异常,thrift-0.14.2,详细错误入下,
org.apache.spark.util.TaskCompletionListenerException: null
Previous exception in task: org.apache.thrift.transport.TSocket.(Lorg/apache/thrift/TConfiguration;Ljava/lang/String;II)V
org.apache.iotdb.rpc.RpcTransportFactory.getTransport(RpcTransportFactory.java:82)
org.apache.iotdb.jdbc.IoTDBConnection.openTransport(IoTDBConnection.java:481)
org.apache.iotdb.jdbc.IoTDBConnection.(IoTDBConnection.java:113)
org.apache.iotdb.jdbc.IoTDBDriver.connect(IoTDBDriver.java:64)
java.sql.DriverManager.getConnection(DriverManager.java:664)
java.sql.DriverManager.getConnection(DriverManager.java:247)
org.apache.iotdb.spark.db.IoTDBRDD$$anon$1.(IoTDBRDD.scala:74)
org.apache.iotdb.spark.db.IoTDBRDD.compute(IoTDBRDD.scala:54)
org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:324)
org.apache.spark.rdd.RDD.iterator(RDD.scala:288)
org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:52)
org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:324)
org.apache.spark.rdd.RDD.iterator(RDD.scala:288)
org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:52)
org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:324)
org.apache.spark.rdd.RDD.iterator(RDD.scala:288)
org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:52)
org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:324)
org.apache.spark.rdd.RDD.iterator(RDD.scala:288)
org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:99)
org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:55)
org.apache.spark.scheduler.Task.run(Task.scala:121)
org.apache.spark.executor.Executor$TaskRunner$$anonfun$11.apply(Executor.scala:407)
org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1408)
org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:413)
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
java.lang.Thread.run(Thread.java:748)
at org.apache.spark.TaskContextImpl.invokeListeners(TaskContextImpl.scala:138)
at org.apache.spark.TaskContextImpl.markTaskCompleted(TaskContextImpl.scala:116)
at org.apache.spark.scheduler.Task.run(Task.scala:131)
at org.apache.spark.executor.Executor$TaskRunner$$anonfun$11.apply(Executor.scala:407)
at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1408)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:413)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con org.apache.iotdb.rpc.RpcTransportFactory.getTransport en RpcTransportFactory.java:82 y sigue la ruta de conexión a través de IoTDBConnection.java:481 e IoTDBRDD.scala:74. Compara las dependencias esperadas de Spark 2.4, IoTDB 1.31.1 y thrift-0.14.2 y después reproduce el fallo del job informado; se considera terminado cuando el acceso desde Spark ya no provoca el error del constructor de TSocket.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java, spark
Área
databases, distributed-systems
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
30/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.