审计日志
UpdateCustomDataSource 更新实时自定义数据源。DeleteCustomDataSource 删除实时自定义数据源。我的权限 ApplyPrivilege 申请权限。ReturnPermission 交还权限。AuthorizeExpire 权限到期，系统触发。审批权限 ApprovePrivilege 审批权限...
产品优势
阿里云智能召回引擎BE，是阿里巴巴集团自研为推荐行业深度定制的召回引擎，提供全面召回的能力，具有高稳定、高性能的索引和查询机制、低运维成本、通过灵活过滤和配置策略加速迭代效率，支持秒级在线实时数据更新，是构建推荐业务的重要...
Flink+Hologres实时数据大屏
本文以GitHub公开事件数据为例，为您介绍使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（本文以DataV为例），实现海量数据实时分析的通用架构与核心步骤。...您也可以单击 预览，预览实时更新的数据大屏。
RDS实时同步至Hologres
本文以GitHub公开事件数据为例，为您介绍使用Hologres+DataWorks数据集成构建实时数仓，并通过Hologres对接BI分析工具（本文以DataV为例）的基本步骤，实现海量数据的实时分析。...您也可以单击 预览，预览实时更新的数据大屏。
操作审计日志说明
消息推送 MPS UpdateMpsKeys 更新密钥信息 消息推送 MPS UpdateMpsCert 更新推送证书 实时发布 MDS AddMdsMiniConfig 增加小程序配置信息 实时发布 MDS DeleteMdsMiniConfig 删除小程序配置信息 实时发布 MDS UpdateMdsMiniConfig 更新小...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
应用场景
该应用场景在阿里巴巴内部得到了广泛的应用，例如淘宝订单系统每天有上万个下游业务，通过数据订阅获取订单系统的实时数据更新，触发自身的变更逻辑。横向扩展读能力 传输方式：数据同步 对于有大量读请求的应用场景，单个数据库实例可能...
功能特性
BI分析及可视化概述 数据同步 Flink实时写入与读取 1.Hologres作为Flink结果表，实现直接实时写入、（整行、局部）更新写入Hologres；2.Hologres作为Flink维表，实现高性能Flink维表关联查询。3.Hologres可作为Flink源表，实现CDC读取、全...
云监控报警
应用实时处理延迟 主表数据当前更新延迟时间 应用实时每秒读入文档数 每秒从数据源或API读取的文档数 应用实时每秒写出文档数 实时同步时，经过数据处理后（join/插件处理），每秒写出到引擎的文档数 应用附表每秒触发主表文档数 每秒钟...
云监控报警
应用实时处理延迟 主表数据当前更新延迟时间 应用实时每秒读入文档数 每秒从数据源或API读取的文档数 应用实时每秒写出文档数 实时同步时，经过数据处理后（join/插件处理），每秒写出到引擎的文档数 应用附表每秒触发主表文档数 每秒钟...
GenerateDISyncTaskConfigForUpdating
仅支持使用异步方式更新数据集成实时同步任务和解决方案同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...
Delta Lake概述
如果您存在以下场景，可以使用Delta：实时查询：数据实时从上游流入Delta，查询侧即可查询该数据，例如，在CDC场景下，Spark Streaming实时消费binlog时，使用Delta merge功能，实时将上游的数据通过merge更新到Delta Lake，然后可以使用...
PHP SDK版本说明
Version 1.3.6 更新日期 2019-04-26 SDK下载 更新内容 支持Composer安装。使用帮助 安装PHP。更多信息，请参见 安装PHP。安装Composer。更多信息，请参见 安装Composer。Version 1.3.5 更新日期 2017-06-06 SDK下载 更新内容 在SendMessage...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
管理自定义连接器
本文为您介绍如何上传、使用和更新自定义连接器。注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器，才能正确地被实时计算Flink版识别并使用，因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User...
INSERT ON CONFLICT(UPSERT)
而根据业务的需求，INSERT ON CONFLICT又可以分为 InsertOrIgnore、InsertOrReplace、InsertOrUpdate，三者的具体区别如下：更新模式 说明 InsertOrIgnore 写入时忽略更新，结果表有主键，实时写入时如果主键重复，丢弃后到的数据，通过 ...
TOP SQL
说明 实时TOP SQL的数据来源于实例启动后缓存中的数据，当有新增SQL或者原有SQL被执行时，缓存中的数据会同步更新，您可以在 实时TOP SQL-列表 中，查看SQL的 最后执行时间。可以在 实时TOP SQL-列表 框中单击 Statement 和 SQL文本 列中的...
概览
实时计算Flink版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于Apache Flink构建的企业级高性能的实时大数据处理系统。Hologres与Flink深度连通，支持实时写入Flink的数据，可以实时查询写入的...
2023-10-23版本
概述 2023年10月23日正式对外发布Flink全托管的新版本，包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.3版本，该版本是基于Apache Flink 1.17.1的企业级Flink引擎。在该版本中，我们增强了Flink...
视频直播的审计事件
操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件，视频直播支持在操作审计中查询的事件如下表...
索引表在线服务配置
实时落盘功能可以使用同样的实时内存，承载更多的实时索引，对于数据量更新较大的应用建议开启。enable_async_dump_segment：是否开启实时索引异步dump功能，true/false，默认为false。开启时dump索引不阻塞实时索引构建，建议设置为true。...
索引表在线服务配置
实时落盘功能可以使用同样的实时内存，承载更多的实时索引，对于数据量更新较大的应用建议开启。enable_async_dump_segment：是否开启实时索引异步dump功能，true/false，默认为false。开启时dump索引不阻塞实时索引构建，建议设置为true。...
文档更新动态（2024年）
更新说明 创建数据表质量规则 创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 资产安全-敏感数据识别 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障...
实时存储引擎
背景 云原生数据仓库AnalyticDB MySQL版 作为一款实时数仓产品，为了支持低延迟的写入、更新场景，在传统数仓能力基础上，设计了实时存储引擎。数据写入和更新会以Append_only的方式写入实时存储引擎，经过Compact之后构建索引以支持复杂的...
数据更新资源
需求：实时增量数据较大导致已有的免费额度的2个数据更新资源无法满足业务需求，表出现数据的时效性延迟。操作：数据更新资源数可在 表管理 中 数据更新资源数对应的列中 直接扩容：调整资源个数后点击确认：扩容完成后，等待变更历史中的...
Hudi概述
Trade-off Snapshort Queries Read Optimized Queries Data Latency 低 高 Query Latency 对于MOR类型，高 低 应用场景 近实时数据摄取 Hudi支持插入、更新和删除数据的能力。您可以实时摄取消息队列（Kafka）和日志服务SLS等日志数据至...
实时计算Flink版产品公告
本文为您介绍实时计算产品公告内容，包括版本更新、功能更新和产品活动等。【计费变更】实时计算Flink版监控服务ARMS Prometheus上线新版计费模式 自2023年12月8日起，实时计算Flink版对接ARMS Prometheus新版计费模式，可观测监控...
Hologres结果表
当导入数据的Hologres目标表设置了主键，实时写入的默认语义不会按照主键进行更新，后续导入的主键数据如果重复，则会被丢弃。Hologres为异步写入数据，您在进行作业时需要添加 blink.checkpoint.fail_on_checkpoint_error=true 配置，当...
基于Flink+Paimon搭建流式湖仓
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入...
实时大盘
实时质检评分大盘数据，每半小时更新一次，例如当前时间是10:38，那么最近半小时的数据展示的为10:00-10:30的数据。坐席排行榜 展示指定时间段内，坐席平均得分由高到低排列展示，包含坐席姓名以及平均得分，如下图：坐席得分趋势 展示指定...
实时同步数据库的数据至Hologres
本文为您介绍如何通过DataWorks数据集成实时同步数据库中的数据至Hologres。前提条件 开通DataWorks，详情请参见 入门概述。开通Hologres实例并绑定至DataWorks工作空间，详情请参见 DataWorks快速入门。已开通云数据库。说明 跨地域是否...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
应用场景
同时Flink还能订阅云上数据库RDS、PolarDB等关系型数据库中Binlog的更新，并利用DataHub、SLS、Kafka等产品将实时数据收集到实时计算产品中进行分析和处理。最终，分析结果可写入不同的数据服务中，例如MaxCompute、MaxCompute-Hologres...
管理自定义函数（UDF）
本文为您介绍如何注册、更新和删除自定义函数。注意事项 当RAM用户或RAM角色等其他身份需要进行管理自定义函数（UDF）等相关操作时，请确保其具有目标项目空间的访问权限，详情请参见 项目空间授权。为了避免JAR包依赖冲突，在开发自定义...
查看实时日志
您可以查看在K8s集群中部署的应用的实时日志。操作步骤 当应用出现异常情况的时候，可以通过查看实时日志来排查容器（Pod）相关问题。登录 EDAS控制台。...如果有需要，可以选择开启 自动更新 开关，每10秒更新一次日志。
实时数仓 Hologres系统权限策略参考
本文描述实时数仓 Hologres支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM...
支持的连接器
实时数仓Hologres√流模式和批模式 SQL和DataStream 是 日志服务SLS√流模式 SQL和DataStream 不支持更新和删除结果表数据，只支持插入数据。MySQL√流模式 SQL和DataStream 是 云数据库RDS MySQL版×流模式和批模式 SQL 是 大数据计算服务...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
动态扩缩容与参数动态更新
仅实时计算引擎VVR 8.0.1及以上版本支持动态更新参数。专家模式（细粒度）不支持动态更新并发度。注意事项 动态更新为实验性功能，在动态更新参数时，业务并不是完全不中断。相比传统的参数修改模式，动态更新能够显著缩短中断时间，但中断...
表指标
数据更新包含处理后的文档大小、数据处理端到端耗时、实时内存使用量、实时内存使用率。指标项 含义 处理后的文档大小 处理后的文档大小 数据处理端到端耗时 数据处理端到端所耗费的时间 实时内存使用量 实时内存使用量 实时内存使用率 ...
- 产品推荐
- 这些文档可能帮助您