Apache Beam ofrece un modelo de programación unificado avanzado que permite implementar tareas de procesamiento de datos por lotes y en tiempo real, las cuales pueden ejecutarse en cualquier motor de ejecución. Es fácil de usar con Apache Apex, Apache Flink, Apache Spark y Google Cloud Dataflow, entre otros sistemas de procesamiento distribuido.

Apache Beam se desarrolló a partir de varias tecnologías internas de Google, como MapReduce, FlumeJava y Millwheel. Google donó el código a la Apache Software Foundation en 2016, y los empleados de Google siguen contribuyendo regularmente al proyecto.

Apache, Apache Beam y el logotipo de la letra B naranja son marcas registradas o marcas comerciales de la Apache Software Foundation en los Estados Unidos y/o en otros países.

Apache Beam es el sucesor de código abierto de los SDK utilizados internamente para impulsar la mayoría de los sistemas de procesamiento de datos a gran escala de Google.

Proyectos relacionados

Firebase es una plataforma de desarrollo de aplicaciones que proporciona herramientas integradas para ayudarte a crear, desarrollar y monetizar tus apps. El SDK de Firebase permite acceder a los servicios de Firebase de forma intuitiva y natural en diversas plataformas.
Kubernetes es un sistema de gestión de clústeres para administrar aplicaciones en contenedores en múltiples hosts, proporcionando mecanismos para el despliegue, el mantenimiento y el escalado de aplicaciones. Agrupa los contenedores que componen una aplicación en unidades lógicas para facilitar su gestión y descubrimiento.
Los componentes de Knative se basan en Kubernetes, abstraiendo los detalles complejos y permitiendo a los desarrolladores centrarse en lo importante. Desarrollado a partir de la codificación de las mejores prácticas compartidas en implementaciones reales exitosas, Knative resuelve las partes tediosas y difíciles del despliegue y la gestión de servicios nativos de la nube, liberándote de esa tarea.
Istio es una plataforma abierta que proporciona una forma uniforme de conectar, gestionar y proteger microservicios. Istio permite gestionar el flujo de tráfico entre microservicios, aplicar políticas de acceso y agregar datos de telemetría, todo ello sin necesidad de modificar el código de los microservicios.