在真实集群上实测,每个数字旁都列出测量条件。
这里的每个数字都来自 DeviceChain 文档中已发布的测量。每个数字都附有它所运行的集群、产生它的负载,以及已发布记录行的链接。 这些结果描述的是那些工作负载和集群,不是容量保证。
dcctl install --ha:消息代理是 3 节点的集群,所有流和键值存储桶都在其间复制;关系数据库以 three
个实例运行并采用同步复制;事件存储复制到 three 个实例(没有备用实例时为异步复制);存储每个事件的 event-management
运行 two 个 Pod(其他服务各运行一个副本)。这些是在带复制的集群上、接近生产形态的数字,而不是单节点基准测试。
文档中的高可用 →
HTTP、MQTT 和检测规则同时运行。
下面两次测量运行的是同一种混合负载:设备通过 HTTP 以 2,500 事件/秒的速率发送数据, 1,500 个 MQTT 会话通过 TLS 各自每秒发送一个事件, 2,000 事件/秒经过检测规则,另外还有命令流量。每个事件携带一个读数。
v1.1.0 构建
GKE · 3 个服务节点 + 3 个数据库节点 + 3 个代理节点 · 带复制的高可用这是 v1.1.0 发布前不久的一个开发构建,且只运行了一次。测试租户的接入上限在测试中被调高。 来源:实测吞吐量表 → 每事件 CPU:v1.1.0 发布说明 →
v1.0.0 候选版本,持续一小时
GKE · 3 个服务节点 + 3 个数据库节点 · 带复制的高可用
这是后来成为 v1.0.0 的候选版本。这一小时内有一次对 event-sources 服务的 60 秒刻意停止;延迟和滞后数字取自该窗口之外,窗口期间的流量不计入其中任何一个数字;完整说明见来源行。最繁忙的服务节点 CPU 为 85 到 92%,因此在这种混合负载下,这个配置已接近这三个服务节点所能承载的上限。MQTT 确认处于默认状态:代理可选的更严格确认模式处于关闭状态,所以这些确认时间并不代表平台此时已经存储了该事件。管理入口使用的是纯 HTTP(dcctl bootstrap --no-tls),而 MQTT 仍使用 TLS,测试租户的接入上限在测试中被调高。
来源:实测吞吐量表 →
通过 TLS 的 MQTT 在哪里达到其确认上界。
通过 TLS 的 MQTT,QoS 1,每个会话每秒一个事件,每一步都使用全新的租户,预热 3 分钟后在 11 分钟的稳态窗口内测量,使用下方配置 B。第 99 百分位的确认时间直到下面所示的最高一步(含该步)都一直低于 50 ms 的上界,并在 6,000 事件/秒时超过它(整个运行期间为 60.1 ms)。
GKE · 3 个服务节点 + 3 个数据库节点 + 3 个代理节点 · 带复制的高可用此时最繁忙的资源是一台代理服务器,而服务节点和数据库节点仍有余量。 每个数字都来自一次运行,并且是在代理的流领导者重新平衡之后取得的。 来源:实测吞吐量表 →
两种集群配置。
两者都运行在 us-east4-b 的 Google Kubernetes Engine 上,采用带复制(--ha)的安装,负载生成器位于自己独立的节点上。放置交由 Kubernetes 调度器和代理决定;MQTT 各步骤在代理的流领导者重新平衡之后运行。两者的 MQTT 确认都处于默认状态:代理可选的更严格确认模式处于关闭状态。
| 配置 | 节点 | 安装与磁盘 |
|---|---|---|
| A:v1.0.0 候选版本 | 3 × t2d-standard-4 服务节点,3 × n2d-standard-4 数据库节点(仅用于数据库),1 × n2d-standard-4 负载生成器节点 |
dcctl install --ha,然后 dcctl bootstrap --no-tls;标准持久启动盘;事件存储卷在任何流量之前扩容到 64 GiB |
| B:v1.1.0 开发构建 | 相同的三个节点池,外加一个由 3 × t2d-standard-4 私有节点组成的代理节点池(为代理设置了污点);代理是未经修改的上游 NATS 服务器 |
dcctl install --ha,然后 dcctl bootstrap --no-tls --no-escrow;100 GB 标准持久启动盘;premium-rwo 作为默认存储类;事件信封关闭 |
配置 B 运行时启用了 Go 性能分析,并在两个数据库上启用了 pg_stat_statements。
这些数字的含义。
- 一个事件就是一个读数,来自一台设备。在 v1.1.0 混合运行中,每种负载各有自己的租户。
- 持续指在所述窗口内一直保持。只运行几分钟的数字是短时运行的数字,这里一个都没有展示。
- 百分位均为第 99 百分位,除非卡片注明是中位数。
- 每 1,000 个事件的 CPU,是平台自身服务在稳态窗口内使用的 CPU,对应该窗口内存储的每 1,000 个事件。数据库在发布说明中单独计算。
- 租户:分散在许多租户上的负载,看到的写入批次比单租户负载更小。
- 此处未测量:其他配置的集群、其他负载组合,或上述组合之外的任何情形。
这些结果描述的是该工作负载和集群,不是容量保证。在据此规划容量之前,请在你自己的集群上用你自己的负载做测量。
运行你自己的测量。
下面的代码仓库链接固定在 v1.1.0 标签。它们是这些测量所用的工具,而不是一键重放:脚本的默认负载和集群配置的默认机型与上述配置不同,因此请自行设置速率和节点池。
- 创建集群。带有机型说明和配额建议的 OpenTofu 配置位于 deploy/gke。在你销毁它之前会一直计费。
- 安装。
dcctl install --ha和dcctl bootstrap;参见引导指南。 - 生成负载。在该标签处从 backend/sims/dc-simulator/cmd/loadtest* 构建负载生成器(它们不在发布归档中),然后运行 hack/loadtest-rc-run.sh。
- 在工作站上比较每个事件的成本。hack/perf-ab.sh 和 hack/perf-ab-compare.sh 在本地 kind 集群上运行。相同提供速率下的消息数、字节数和行数可以沿用到其他机器;那里的 CPU 是同一台机器上两次运行之间的比值。