产品功能

高效低延迟的实时数据处理,支持高并发、弹性伸缩、多数据源及复杂事件处理。

实时计算 Flink 版

    产品功能

    高性能与高可用性

    • 单核CPU每秒数十万条记录处理能力

      支持端到端亚秒级数据处理延迟,适用于超大规模实时任务计算。

    • 分布式集群计算无单点

      保障高可用性,支持同城高可用和跨可用区调度切换,确保在单个可用区故障时作业仍能正常运行。

    企业级增强功能

    • Flink CDC(Change Data Capture)
      基于Flink CDC 3.0,通过开发YAML作业实现数据从源端同步到目标端的数据摄入工作。
    • 复杂事件处理(CEP)
      提供企业级复杂事件处理能力,支持实时风控场景。
    • SQL语义增强
      支持使用Processing Time进行Temporal Join,将事实表数据与维表最新数据关联。

    丰富的上下游连接器

    • 连接器性能优化

      内置三十余种上下游连接器,包括MySQL、Kafka、Redis、HBase、StarRocks等,极大简化了数据集成和治理。

      ●MySQL连接器:支持Binlog解析线程配置,提升异步解析能力。

      ●Kafka连接器:新增Zstandard(Zstd)压缩算法依赖,支持Protobuf数据格式。

      ●Redis连接器:优化Sink缓存能力,支持批量数据写入和连接池配置。

      ●SLS连接器:自适应Shard变化,支持动态检测Shard变化时间间隔。

    一站式开发运维管理平台

    • 支持作业全生命周期管理
      提供交互式操作的Web控制台,支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。
    • VS Code本地开发插件
      打通本地Flink作业开发全流程,支持SQL、JAR和Python作业的开发、部署及上线。
    • 变量管理
      支持设置明文或密文变量,适用于JAR和Python作业。

    任务编排与监控告警

    • 任务编排能力
      支持工作流节点失败告警,提供钉钉、电话等多种方式的事件告警。
    • 免费监控服务
      开通Flink工作空间时,可选择免费监控服务,提供基础监控告警能力。
    • 算子探查(公测)
      支持对运行中的SQL作业进行中间结果查询,降低排查数据正确性的难度。

    安全与权限管理

    • 细粒度权限管理
      支持自定义角色和细粒度权限,创建工作空间的身份默认具有项目空间下owner角色权限。
    • 敏感信息屏蔽
      对日志中连接器的连接配置等敏感信息进行隐藏屏蔽,提升安全性。

    数据湖与数仓支持

    • Paimon连接器增强
      支持配置收到回撤类型消息时的期望语义,增强Delete Action处理性能。
    • Hive Catalog优化
      支持全托管存储的工作空间创建Hive Catalog,并管理文件的生命周期。
    • SelectDB连接器
      支持写入数据至云数据库SelectDB版,适用于新一代云原生实时数仓服务。

    其他重要特性

    • 日志归档优化
      定期清理已过有效期的历史归档日志,减少额外存储成本。
    • 快速创建Session集群
      当无可用Session集群时,支持通过配置关键参数快速创建执行环境并直接运行脚本。