Cómo asignar un RDD de clase caso a LabeledPoint (etiqueta, vector de características)

votos
27

Cómo asignar un RDD de clase caso a LabeledPoint (etiqueta, vector de características).

Este es el RDD de Examen clase caso (x: Doble, y: Doble):

Ds (1.0,6.0)

Ds (2.0,8.0)

Ds (3.0,10.0)

Ds (3.0,10.0)

ds (4.0,12.0)

Ds (5.0,14.0)

Intentado hacer esto -

     val parsedData = aRDD.map(row =>
     new LabeledPoint(
     row._1,
     Vectors.dense(row._2))

Se obtiene un error valor _1 no es miembro de main.scala.spark.Q1Partb.Q1.Exam en row._1 y row._2

y esto -

          val parsedData = aRDD.map{line => 
          val Array(rawLabel, rawfeatures) = line.split(',')
          val features = rawfeatures) .split(' ').map(_.toDouble)
          LabeledPoint(rawLabel.toDouble, Vectors.dense(features))}

error al obtener el valor recursiva x $ 4 Tipo de necesidades para rawLabel y valor de división no es miembro de main.scala.spark.Q1Partb.Q1.ds para linea.split ( '')

Publicado el 03/05/2017 a las 19:53
por usuario
En otros idiomas...                            


2 respuestas

votos
1

Si usted tiene un RDD [ex] usted debe ser capaz de escribir

val parsedData = aRDD.map(exam => LabeledPoint(exam.x, Vectors.dense(exam.y))
Respondida el 04/05/2017 a las 01:59
fuente por usuario

votos
1

Tenía este problema porque mi nombre de variable fue tomada por una función.

Asi que private val Seq(transaction, transaction2) = insertTx(...

convirtió

private val Seq(transaction1, transaction2) = insertTx(...

con la transacción es el culpable.

Respondida el 09/08/2017 a las 17:15
fuente por usuario

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more