Apache Beam proporciona un modelo de programación unificado avanzado, que te permite implementar trabajos de procesamiento de datos por lotes y de transmisión que pueden ejecutarse en cualquier motor de ejecución. Es fácil de usar con Apache Apex, Apache Flink, Apache Spark y Google Cloud Dataflow, entre otros backends de procesamiento distribuido.

Apache Beam se desarrolló a partir de varias tecnologías internas de Google, como MapReduce, FlumeJava y Millwheel. Google donó el código a la Apache Software Foundation en 2016, y los Googlers siguen contribuyendo con regularidad al proyecto.

Apache, Apache Beam y el logotipo con la letra B naranja son marcas registradas o marcas de Apache Software Foundation en Estados Unidos o en otros países.

Apache Beam es un sucesor de código abierto de los SDK que se usan internamente para potenciar la mayoría de las canalizaciones de procesamiento de datos de escala masiva de Google.

Proyectos relacionados