数据保护机制
如果多个项目之间两两互相设置为TrustedProject，这些项目会形成一个TrustedProject Group，数据可以在TrustedProject Group内流转，但禁止流出到TrustedProject Group之外。设置方法 项目所有者可以通过如下命令管理信任项目：在当前项目...
Redis数据迁移方案概览
借助数据传输服务DTS（Data Transmission Service），云数据库Redis版 提供了多种数据迁移方案，包括自建Redis数据库迁移上云、云数据库Redis版 实例间的数据迁移、其他云Redis数据迁移到阿里云等，满足多种业务场景下Redis数据迁移的需求...
集群开通
本文介绍如何开通和配置流数据服务Confluent集群。开通购买流程 在 流数据服务Confluent管控页 进行集群初始化配置、网络设置等，并完成商品购买和集群部署。目前，流数据服务Confluent开通的Region为：北京、上海、深圳。如有新增Region...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
SQL限流
您可以通过SQL限流来控制数据库请求访问量和SQL并发量，保障服务的可用性。本文以RDS MySQL为例介绍如何使用SQL限流功能。前提条件 支持的数据库引擎为：RDS MySQL 5.6、5.7、8.0 PolarDB MySQL版 5.6、5.7、8.0 PolarDB-X 2.0 应用场景 ...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
常见问题（FAQ）
是的，您可以使用结构化流直接将数据写入Delta表并从Delta表中读取。Delta Lake是否支持使用Spark Streaming DStream API进行写入或读取？Delta不支持DStream API。我们建议进行表流读取和写入。使用Delta Lake时，是否可以轻松地将代码...
功能特性
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
Binlog日志服务
库级别 按照数据库的名字计算Hash值并进行分发，即对应同一个库的binlog数据，会始终按序路由给同一个binlog数据流，适用于单个 PolarDB-X 实例上数据库比较多的场景，如果事务不涉及跨库操作，该策略下不仅可以具备多流能力，还可以保证...
用户管理
查看用户列表 首先登录 流数据服务Confluent管控页，点击集群管理>进入某个集群详情页>用户管理Tab页，在这里您可以查看所有用户的列表。新增用户 点击“添加LDAP用户”按钮添加新用户。注意 反复添加同一个名称的用户，只有第一次会添加...
创建并使用PAI Designer
若您想了解如何创建 自定义工作流 进行数据可视化建模，您可以参考 创建自定义工作流案例，了解自定义工作流的创建过程。开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${...
我是安全管理员
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
我是管理员
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
我是DBA
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
表删除，更新和合并
更新表格 可以更新与Delta表中谓词匹配的数据。例如，要修复eventType中的拼写错误，可以运行以下命令：SQL%sql UPDATE events SET eventType='click' WHERE eventType='clck' UPDATE delta.`/data/events/` SET eventType='click' WHERE ...
创建实例
流引擎：可按需选择 流数据节点规格 和 流数据节点数量，以core为单位。说明 若商品类型选择 Lindorm轻量版，则不支持此功能。若 存储类型 选择 本地SSD盘 或 本地HDD盘，不支持选择数据引擎的节点规格，仅支持选择 本盘节点规格 和数据...
发布或下线任务流
完成任务流的配置或变更后，您需要通过发布操作将最新的任务流发布，有效避免部分变更未经确认被直接发布。发布任务流 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>任务编排。单击目标任务流名称，进入任务流...
萤石云播放器
视频流地址：视频流的URL地址，也可以在 数据 页签中配置，优先使用数据面板中的配置。视频流类型：视频流的协议类型，可选：rtmp 和 hls。说明 组件需要提供视频流播放地址。网页版的萤石云播放器不支持认证的方式接入。需要客户端认证的...
阿里云流播放器
视频链接：视频流的URL地址，也可以在 数据 页签中配置，优先使用数据面板中的配置。说明 支持MP4、FLV、M3U8、RTMP。封面图片：自定义视频封面图片的内容。如果您需要使用远程服务器上的图片，请在上方的输入框中输入图片的URL地址；单击...
阿里云流播放器
视频链接：视频流的URL地址，也可以在 数据源 页签中配置，优先使用 数据源 面板中的配置。说明 支持MP4、FLV、M3U8、RTMP。封面图片：自定义视频封面图片的内容。如果您需要使用远程服务器上的图片，请在上方的输入框中输入图片的URL地址...
新功能发布记录
DMS控制台切换 07月 功能名称 变更类型 功能描述 相关文档 离线集成 新增 离线集成是一种低代码开发数据加工任务的工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。离线集成概述 DevOps 新增 ...
萤石云播放器
视频流地址：视频流的URL地址，也可以在 数据 页签中配置，优先使用数据面板中的配置。视频流类型：视频流的协议类型，可选：rtmp、hls。说明 组件需要提供视频流播放地址。网页版的萤石云播放器不支持认证的方式接入。需要客户端认证的...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
暂停工作流
调用SuspendFlow接口，暂停工作流。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
恢复工作流
调用ResumeFlow接口，恢复暂停的工作流。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
SHOW CATALOGS
您可以在此目录中创建数据库、流表和持续查询等。lindorm_table，映射宽表引擎的目录。宽表中的元数据会自动映射到流引擎中，您可以在此目录中执行只读操作。示例 展示流引擎中所有的Catalog。SHOW CATALOGS;返回结果如下：+-+|Result|+-+|...
查看连接地址
本文介绍通过 云原生多模数据库 Lindorm 控制台查看流引擎类的连接地址。前提条件 已开通 云原生多模数据库 Lindorm 的流引擎，具体操作请参见 开通流引擎。专有网络和公网 网络类型 说明 专有网络 专有网络VPC（Virtual Private Cloud）是...
ACL授权
本文介绍如何在流数据服务Confluent上使用ACL授权。背景信息 ACL的全称是Access Control Lists，指访问控制列表。这种授权方式比RBAC授权粒度更细。ACL授权主要有两种方式：使用数据流服务Confluent控制台实现ACL授权。本文详细介绍这一...
DataHub数据源
topic":"",/Topic是DataHub订阅和发布的最小单位，您可以用Topic来表示一类或者一种流数据。maxRetryCount":500,/任务失败的重试的最多次数。maxCommitSize":1048576/待积累的数据Buffer大小达到maxCommitSize大小（单位Byte）时，批量...
MongoDB 6.0新特性概览
变更流可以让业务更容易地实时获取数据库的变更，并基于此构建各种事件驱动型的应用或系统，不再需要依赖其他的数据同步中间件。变更流的功能更新记录如下：版本 更新说明 MongoDB 3.6 首次发布。仅支持订阅集合（Collection）维度。events...
快速体验
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
开通消息引擎
在 选择数据引擎 部分，按需选择 流数据节点规格 与 流数据节点数量。创建实例后开通消息引擎 在 实例列表 点击对应实例，进入 实例详情 页面，在左侧菜单选择 流引擎 标签页，点击 立即开通 按钮。在购买页面按需选择 流数据节点规格 与 ...
音视频弹性处理
自定义 Serverless 工作流：Serverless 工作流 不仅可以实现高度自定义，例如并行转码、打水印、元信息插入数据库等复杂组合操作，还可以实现 Serverless 工作流 的安全升级更新。降低成本：视频转码是CPU密集型，在 Serverless 工作流 及...
结束工作流
返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果，包含如下：true：重试工作流成功。false：重试工作流失败。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
CREATE STREAM
创建一张流表，可以不断记录随时间而发生的事件。数据流表仅支持新增数据，不支持更新数据和删除数据。本文介绍如何通过DDL语句创建流表。语法 CREATE STREAM[IF NOT EXISTS][catalog_name.][db_name.]stream_name({|...
集群资源规格评估建议
说明 默认情况下，阿里云流数据服务Confluent集群Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB、Control Center组件的副本数为4、2、2、2、3、2、1，您也可以根据实际的业务需求设置合适的副本数量。如何评估集群资源 Kafka ...
- 产品推荐
- 这些文档可能帮助您