Apache Beam
用于定义和执行数据处理流水线的统一模型
Apache Beam 提供了一种高级的统一编程模型,允许您实现可在任何执行引擎上运行的批量数据处理和流式数据处理作业。它可以轻松与 Apache Apex、Apache Flink、Apache Spark 和 Google Cloud Dataflow 以及其他分布式处理后端配合使用。
Apache Beam 基于许多 Google 内部技术开发,其中包括 MapReduce、FulmeJava 和 Millwheel。Google 于 2016 年向 Apache 软件基金会捐赠了代码,Google 员工将继续定期为该项目做贡献。
Apache、Apache Beam 和橙色字母 B 徽标是 Apache Software Foundation 在美国和/或其他国家/地区的注册商标或商标。
Google 如何使用 Apache Beam
Apache Beam 是内部使用的 SDK 的开源继承版本,为 Google 的大多数大规模数据处理流水线提供支持。
-
Repo
-
许可
-
类别
-
语言
相关项目
Firebase SDK
Firebase 是一个应用开发平台,提供各种集成工具,可帮助您构建和推广应用并通过应用创收。Firebase SDK 支持在多个平台上以直观而惯用的方式访问 Firebase 服务。
Kubernetes
Kubernetes 是一个集群管理系统,用于管理跨多个主机的容器化应用,提供应用的部署、维护和扩缩机制。它将构成应用的容器划分为逻辑单元,以便于管理和发现。
Knative
Knative 组件在 Kubernetes 的基础上构建而成,消除了复杂的细节,使开发者能够专注于重要事务。Knative 采用编码了实际成功实现所分享的最佳实践而构建,解决了部署和管理云原生服务时“单调而困难”的问题,让您不必亲力亲为。
Istio
Istio 是一个开放平台,提供连接、管理和保护微服务的统一方式。Istio 支持管理微服务之间的流量、强制执行访问权限政策和汇总遥测数据,而这一切都不需要更改微服务代码。