系统管理
所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源与所选资源组网络连通。说明 购买独享资源组并配置资源组绑定的归属工作空间，请参见 新增和使用独享调度资源组、新增和使用独享数据集成资源...
数据库代理主机监控详情
本文介绍数据库代理主机监控的详细信息。查看数据库代理主机监控数据 说明 数据库代理主机监控目前仅针对白名单用户开放，如需开通...每秒接收数据量 net_recv 每秒接收数据量，单位：MB。每秒发送数据量 net_send 每秒发送数据量，单位：MB。
实现数据分发
[{"num":"123","text":"这是多行文本组件","value":"接收数据组件"}]切换到蓝图编辑器。添加所有图层节点到蓝图主画布中。单击 逻辑节点，添加1个序列执行节点到蓝图主画布中，新增一个事件接口并重命名。连接组件。配置序列执行节点的处理...
集群自定义监控报表
集群主机 memory_free 可用物理内存大小 集群主机 memory_used 使用物理内存大小 集群主机 net_recv 每秒接收数据量 集群主机 net_send 每秒发送数据量 集群主机 net_throughput 网络吞吐率 集群主机 ntp_offset_milliseconds ntp时钟偏移 ...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
数据传输与迁移概述
实时数据写入（数据通道）可接受数据可见延迟。对数据可见延迟容忍度高（可接受偶发的小时级别数据可见延迟）。对请求延迟容忍度低（需要保证稳定的秒级延迟）。建议实时数据写入DataHub再同步MaxCompute。需要数据实时可见。对数据可见...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
数据质量概述
订阅规则：规则创建完成后，您可以通过规则订阅的方式接收数据质量规则校验报警信息，支持 邮件通知、邮件和短信通知、钉钉群机器人、钉钉群机器人@ALL、飞书群机器人、企业微信机器人 和 自定义Webhook 等方式进行报警。说明 仅DataWorks...
数据投递
前提条件 已创建用于接收数据的目标库实例，当前仅支持 AnalyticDB PostgreSQL。创建方法，请参见 创建实例。目标 AnalyticDB PostgreSQL 实例中需已创建好用于接收数据的数据库和Schema（本示例创建的Schema为 dts_deliver_test）。创建...
PolarDB-X 2.0迁移至自建Oracle
前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的Schema。说明 创建用户时会自动创建一个对应的Schema。注意事项 说明 在库表结构迁移过程...
数据上传
所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源与所选资源组网络连通。说明 通过数据分析配置引擎使用的资源组，请参见 系统管理。配置数据源与资源组网络连通，请参见 配置资源组与网络连通...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
函数 选择目标函数计算FC用于接收数据的函数。服务版本和别名 请根据实际情况进行选择。默认版本：服务版本 固定为 LATEST。指定版本：您还需选择 服务版本。指定别名：您还需选择 服务别名。说明 目标函数计算FC的专有名词，请参见 基本...
云数据库MongoDB版（副本集架构）同步至函数计算FC
函数 选择目标函数计算FC用于接收数据的函数。服务版本和别名 请根据实际情况进行选择。默认版本：服务版本 固定为 LATEST。指定版本：您还需选择 服务版本。指定别名：您还需选择 服务别名。说明 目标函数计算FC的专有名词，请参见 基本...
多可用区部署
强一致：如果将表设置为强一致，那么只有表的主Partition可以读写，备Partition只能通过Replica Consensus协议接收数据。当主可用区的地域所有机器都终止工作或者可用区不可用时，Lindorm会自动触发选择主可用区操作，备可用区需要一定的...
RDS MySQL同步至函数计算FC
函数 选择目标函数计算FC用于接收数据的函数。服务版本和别名 请根据实际情况进行选择。默认版本：服务版本 固定为 LATEST。指定版本：您还需选择 服务版本。指定别名：您还需选择 服务别名。说明 目标函数计算FC的专有名词，请参见 基本...
RDS MariaDB迁移至RDS PostgreSQL
已在目标RDS PostgreSQL实例中创建用于接收数据的数据库。具体操作，请参见 创建账号和数据库。注意事项 说明 在库表结构迁移过程中，DTS会将源数据库中的外键迁移到目标数据库。在全量迁移和增量迁移过程中，DTS会以Session级别暂时禁用...
导入概述
streaming_load_rpc_max_alive_time_sec 在导入过程中，StarRocks会为每个Tablet开启一个Writer，用于接收数据并写入。该参数指定了Writer的等待超时时间。默认为600秒。如果在参数指定时间内Writer没有收到任何数据，则Writer会被自动销毁...
导入概述
streaming_load_rpc_max_alive_time_sec 在导入过程中，StarRocks会为每个Tablet开启一个Writer，用于接收数据并写入。该参数指定了Writer的等待超时时间。默认为600秒。如果在参数指定时间内Writer没有收到任何数据，则Writer会被自动销毁...
Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...
目标 云原生数据仓库AnalyticDB PostgreSQL版 实例已创建用于接收数据的数据库。创建方法，请参见 导入数据。如需执行增量迁移，您需要开启 Db2 for LUW 数据库的归档日志。更多信息，请参见 主日志归档方法 和 辅助日志归档方法。重要 ...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
从自建Redis迁移至Tair实例
已选择对象 若您需要指定接收数据的库（DB 0~DB 255）或通过前缀过滤待迁移的数据，可以使用映射或过滤功能。在 已选择对象 框中右键单击待迁移的库，然后在弹出的 编辑Schema 对话框中进行配置。更多信息，请参见 库表列名映射 和 设置...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
功能发布记录 2022年之前
某些数据源只能以HTTP REST API形式对外提供数据，或者接收数据。针对这类数据源，数据集成支持离线形式读取和写入数据。2021.1.4 全部地域。RestAPI Reader 2020-12 功能名称 功能描述 发布时间 发布地域 相关文档 DataWorks数据集成新增...
伪类型
伪类型 名字 描述 any 表示一个函数可以接受任意输入数据类型 anyelement 表示一个函数可以接受任意数据类型 anyarray 表示一个函数可以接受任意数组数据类型 anynonarray 表示一个函数可以接受任意非数组数据类型 anyenum 表示一个函数...
教程概述
物联网平台接收到数据后通过规则引擎转发至DataHub。在DataHub中通过DataConnector将数据同步到RDS MySQL数据库中。使用DataV将RDS MySQL中的数据展示在大屏上。说明 物联网平台转发至DataHub，是因为DataHub可以将数据同步至MaxCompute，...
区块概述
区块接口节点说明 区块定义内部和外部的数据传输，依靠蓝图编辑器中的 数据接口 节点、事件接口 节点和 动作接口 节点进行配置，不同接口的区别如下：数据接口：用于接收外部数据源传入区块的数据，再通过蓝图编辑器分发数据给内部的组件。...
区块概述
区块接口节点说明 区块定义内部和外部的数据传输，依靠蓝图编辑器中的 数据接口 节点、事件接口 节点和 动作接口 节点进行配置，不同接口的区别如下：数据接口：用于接收外部数据源传入区块的数据，再通过蓝图编辑器分发数据给内部的组件。...
Flink数据导入
若Flink接收到的数据量未达到 sink.buffer-flush.max-rows 所设的值，但间隔时间已达到 sink.buffer-flush.interval 所设的值，那么无论Flink接收了多少数据量，都直接触发批量写入数据至 AnalyticDB MySQL版。sink.buffer-flush.interval ...
上传数据
前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可参见 创建MaxCompute表。使用限制 当前仅支持上传本地数据至MaxCompute表。上传数据操作入口 您可以在数据...
使用指南
本文将为您介绍如何使用跨链服务控制台，包括注册区块链、跨链授权（包括账本数据访问、合约消息推送）的相关操作流程，以及如何进行权限查看、合约消息查看等。注册区块链 注册您的区块链是开始跨链连接的第一步。注册区块链后，跨链数据...
使用SDK示例代码消费PolarDB-X 1.0订阅数据
SDK客户端每隔一定时间会统计并显示消费数据的信息，包括数据发送和接受时数据总数、数据总量、每秒请求数接收RPS等。表 1.消费数据的统计信息 参数 说明 outCounts SDK客户端所消费的数据总数。outBytes SDK客户端所消费的数据总量，单位...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
设置告警
数据传输支持对数据迁移和数据同步项目进行监控项的配置。项目创建完成后，您可以对单个项目设置告警监控，也可以选择多个项目进行批量操作。本文以数据迁移项目为例，为您介绍如何设置告警监控。背景信息 告警监控功能是数据传输重要的运...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
数据集成调度策略说明
说明 DTS每次调度时，会自动地在目标实例中创建一个带有任务调度时间后缀（格式为_yyyymmdd_HH_mm_ss）的数据库，用于接收迁移的数据。例如待迁移的数据库为dtstestdata，任务调度时间为2020年02月10日的11:00:00，那么DTS在该时间执行迁移...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
应用场景
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
- 产品推荐
- 这些文档可能帮助您