Apache Beam 提供了一种高级的统一编程模型,允许您实现可在任何执行引擎上运行的批量数据处理和流式数据处理作业。它可以轻松与 Apache Apex、Apache Flink、Apache Spark 和 Google Cloud Dataflow 以及其他分布式处理后端配合使用。

Apache Beam 基于许多 Google 内部技术开发,其中包括 MapReduce、FulmeJava 和 Millwheel。Google 于 2016 年向 Apache 软件基金会捐赠了代码,Google 员工将继续定期为该项目做贡献。

Apache、Apache Beam 和橙色字母 B 徽标是 Apache Software Foundation 在美国和/或其他国家/地区的注册商标或商标。

Apache Beam 是内部使用的 SDK 的开源继承版本,为 Google 的大多数大规模数据处理流水线提供支持。

相关项目