Snowflake 上线 Snowpipe Streaming Elastic Channels，去 Kafka 化实现 5 秒级实时数据入仓

一句话结论

Snowflake 发布新流式通道，移除 Kafka 依赖并实现约 5 秒端到端延迟，简化架构但强制至少一次投递需下游去重。

关键要点

• 2026 年 9 月 15 日正式发布，支持 AWS、Azure、GCP 商业区域，受 Snowflake 标准 SLA 保障。
• 架构移除 Kafka、Schema Registry 及连接器，信任边界转移至 Snowflake，需使用 SDK 1.8.0 及以上版本。
• 提供至少一次投递语义且不保证顺序，无偏移量 token，依赖 Dynamic Table 或 Named Channels 去重。
• 认证采用 RSA 密钥对，私钥保留在主机，公钥通过 ALTER USER 注册，避免了 OAuth token 刷新复杂度。
• 测试中单台 Apple Silicon M3 MacBook 3 秒内写入 1,000 行，最大待确认操作限制 500 个。

背景与事实

Snowflake 于 2026 年 9 月 15 日正式发布了 Snowpipe Streaming Elastic Channels 功能。这一发布标志着实时数据架构的一次显著简化，该功能不再依赖传统的 Kafka 集群、Schema Registry 以及复杂的连接器配置，而是通过由 Snowflake 管理的隐式服务器扩展通道（Elastic Channel）直接写入数据。这种架构变更将信任边界从用户自行维护的中间件转移至 Snowflake 的数据摄取服务，同时保留了至少一次投递语义。需要注意的是，该功能不保证数据顺序，也不提供偏移量 token，这意味着下游消费端必须通过 Dynamic Table 或 Named Channels 进行去重处理，以确保数据一致性。该功能支持 AWS、Azure 和 GCP 的商业区域，并受 Snowflake 标准服务等级协议（SLA）保障。

在开发与集成层面，使用者需要部署 SDK 版本 1.8.0 及以上。Java、Python 和 Node.js SDK 均支持“即发即忘”和“可等待追加”两种方法。在自动化配置上，系统会自动创建名为 SENSOR_READINGS-STREAMING 的管道，其属性包括 MATCH_BY_COLUMN_NAME=CASE_INSENSITIVE 和 CLUSTER_AT_INGEST_TIME=TRUE。这些管道由 Snowflake 完全管理，用户无法执行 ALTER 或 DROP 操作，从而降低了运维负担但限制了灵活性。表设计方面，需启用 ENABLE_SCHEMA_EVOLUTION = TRUE 以支持自动添加新字段。在权限控制上，采用了三级角色体系：STREAMING_ADMIN、STREAMING_PRODUCER 和 STREAMING_ANALYST，其中生产者角色仅具有 INSERT 权限。认证机制不再依赖密码或 OAuth token，而是采用 RSA 密钥对：私钥保留在生产者主机或密钥管理服务中，公钥通过 ALTER USER ... SET RSA_PUBLIC_KEY 命令注册。

影响分析

对于中文开发者与技术从业者而言，这一变化具有实际的工程价值。首先，移除 Kafka 依赖大幅降低了实时数据管道的运维门槛，团队无需再维护消息队列集群的扩容、分区管理及 Schema 兼容性，可将资源集中于数据本身。其次，约 5 秒的端到端延迟（从表处理完成到数据可查询）满足了绝大多数近实时业务分析场景，如监控告警和库存动态分析，无需再引入复杂的 Lambda 架构。然而，分析判断认为，至少一次投递语义带来的去重责任转移给下游，要求开发者熟悉 Dynamic Table 的 ROW_NUMBER 去重逻辑。例如，在 DEVICE_HEALTH_SUMMARY 表中计算平均温度或异常计数时，必须确保基于 EVENT_ID 的去重逻辑正确，否则会导致统计偏差。此外，RSA 密钥对的认证方式虽然消除了 token 刷新问题，但增加了密钥生命周期的管理复杂度，企业需建立相应的密钥轮换流程。

适用边界

该结论主要适用于对实时性要求较高（秒级至分钟级）、数据吞吐量适中且能接受去重逻辑的日志、传感器数据及业务事件流场景。若业务对数据顺序有强依赖（如金融交易流水），或吞吐量需求极高导致待确认操作超过 500 个限制，则此方案不适用，仍需考虑基于 Apache Flink 或 Spark Streaming 等具备窗口机制的传统流计算框架。此外，对于不支持 RSA 密钥管理或网络策略限制严格的环境，认证流程可能面临实施障碍。

孤本观察

基于来源事实，Elastic Channels 将数据新鲜度监控内置为每 5 分钟一次的 Alert 检查，阈值设为 300 秒，这表明 Snowflake 正将可观测性从基础设施层上移应用层，简化了传统 Kafka 的滞后监控。编辑判断认为，SDK 1.8.0 的版本限制与 RSA 认证组合，暗示了该功能初期主要面向企业级 Python、Java 和 Node.js 生态，而非轻量级脚本场景。

来源：InfoQ 中文 AI