la migración de base de datos utilizando la chispa Apache

votos
0

Tengo que realizar la migración de una base de datos abstracta a otro (por ejemplo, vamos a decir de Oracle a Cassandra) y queremos utilizar Apache Spark Streaming para eso. No es un mapeo sencillo de tipos de uno db a otro, pero también incluye transformaciones complejas y validación. Un caso típico es comprobar antes de la validación / transformación alguna condición de nuestros datos en RDD a través en busca de algunas relaciones de este valor con los valores en el conjunto (tal vez también diferente) conjunto de datos (por ejemplo, casos en los que nuestro valor desde RDD se utiliza en alguna otra mesa y queremos comprobar esto y realizar algunas acciones para cada ocurrencia ocurrencia).

Así que tenemos la opción de utilizar Apache Ignite es compartida RDD para resolver este problema. Y cuando vamos a recibir dichos datos que necesitarán verificación externa de su correlación con los otros datos de todo el ámbito de migración y luego vamos a ir simplemente para encender (que será utilizado como dispositivo de almacenamiento temprorary para estos casos), comprobar las correlaciones y realizar todas las acciones neccessary con nuestro valor.

Entonces, ¿SMB tiene esa experiencia y qué problemas típicos que posiblemente se reunirá. ¿Es una buena práctica utilizar este tipo de arquitectura o puede ser esto se puede hacer más eficiente y con mejor diseño en Spark?

Publicado el 18/12/2017 a las 06:42
por usuario
En otros idiomas...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more