配置RDS MySQL间的数据集成任务
背景信息 DTS的数据集成功能可根据调度策略，定期地将源库中的结构和存量数据迁移至目标库中，通过该功能可以帮助您构建更加灵活的数据仓库。更多详情，请参见 数据集成调度策略说明。注意事项 如果源数据库没有主键或唯一约束，且所有字段...
DataWorks数据服务对接DataV最佳实践
DataWorks数据服务提供了快速将数据表生成API的功能，通过可视化的向导模式操作，无需代码便可快速生成API，然后通过DataV调用API并在大屏中展示数据分析结果，高效实现数仓的开发和数据的展示。前提条件 要想实现DataWorks数据服务与DataV...
ARRAY_INTERSECT
MaxCompute ARRAY_INTERSECT函数用于计算两个ARRAY数组之间的交集，并返回一个包含两个数组中都存在的相同值的新数组。本文为您介绍ARRAY_INTERSECT函数的命令格式、参数说明以及使用示例。命令格式 array<T>array_intersect(array<T><a>,...
配置API输出组件
写入JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。输入字段 展示上游的输入字段。输出字段 为您展示输出字段。您可以手动添加输出字段：单击 批量添加。以JSON格式批量配置，例如。示例：[{"name":"user_id",...
配置API输出组件
写入JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。输入字段 展示上游的输入字段。输出字段 为您展示输出字段。您可以手动添加输出字段：单击 批量添加。以JSON格式批量配置，例如。示例：[{"name":"user_id",...
从RDS同步至MaxCompute
此处同时勾选 结构初始化 和 全量数据初始化，DTS会在增量数据同步之前，将源数据库中待同步对象的结构和存量数据同步到目标数据库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名...
ALL_MATCH
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
从RDS同步至MaxCompute
此处同时勾选 结构初始化 和 全量数据初始化，DTS会在增量数据同步之前，将源数据库中待同步对象的结构和存量数据同步到目标数据库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名...
ANY_MATCH
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
PolarDB MySQL版间的单向同步
选中 结构初始化 和 全量数据初始化 后，DTS会在增量数据同步之前，将源数据库中待同步对象的结构和存量数据，同步到目标数据库。上述配置完成后，单击页面右下角的 预检查并启动。说明 在同步作业正式启动之前，会先进行预检查。只有预...
pg_type
注意该分隔符是与数组元素数据类型相关联的，而不是和数组的数据类型关联。typrelid oid 对于复合类型（见 typtype），那么这个列指向 pg_class 中定义对应表的项（对于自由存在的复合类型，pg_class 项并不表示一个表，但不管怎样该类型的...
PolarDB MySQL版间的单向同步
选中 结构初始化 和 全量数据初始化 后，DTS会在增量数据同步之前，将源数据库中待同步对象的结构和存量数据，同步到目标数据库。上述配置完成后，单击页面右下角的 预检查并启动。说明 在同步作业正式启动之前，会先进行预检查。只有预...
从ECS上的自建MySQL同步至PolarDB MySQL版
选中 结构初始化 和 全量数据初始化 后，DTS会在增量数据同步之前，将源数据库中待同步对象的结构和存量数据，同步到目标数据库。上述配置完成后，单击页面右下角的 预检查并启动。说明 在同步作业正式启动之前，会先进行预检查。只有预...
数据类型
本文描述 云数据库ClickHouse 的数据类型。数据类型列表 ClickHouse完整数据类型介绍，请参考 开源...嵌套数据结构的参数（列名和类型）的指定方式与CREATE TABLE查询中的指定方式相同。每个表行都可以对应于嵌套数据结构中的任意数量的行。
ARRAY_REMOVE
array中的 T 指代ARRAY数组元素的数据类型。支持的数据类型如下：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、TIMESTAMP、IntervalDayTime、IntervalYearMonth STRING、BINARY、VARCHAR、...
使用DataV可视化应用展示数据返回结果
本文为您介绍如何在DataV中调用DataWorks的数据服务API，并将数据返回结果展示在DataV...组件的样式和数据都配置完成后，可以看到组件使用API数据，且显示正常。后续步骤 按照以上方法，可以配置其他组件的数据和样式，完成可视化应用制作。
FILTER
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。func：必填。用于对 a 中元素进行过滤的函数（内置函数或自定义函数）或表达式，其输入参数类型必须与 a 中元素的数据类型一致，其输出结果数据类型为BOOLEAN。返回...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
TRANSFORM
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。func：必填。用于对 a 中元素进行转换的函数（内建函数或自定义函数）或表达式，其输入类型应与 a 中的元素类型一致。R 指代输出结果的数据类型。返回值说明 返回...
PolarDB-X 1.0迁移至PolarDB-X 2.0
为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。其他限制 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和单独购买的RDS），暂不支持为PolarDB MySQL。由于 PolarDB-X 1.0 的迁移任务为分布式迁移，其...
ARRAY_POSITION
array中的 T 指代ARRAY数组元素的数据类型。支持的数据类型如下：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、TIMESTAMP、IntervalDayTime、IntervalYearMonth STRING、BINARY、VARCHAR、...
配置Kafka输入
对于版本Kafka，由于Kafka不支持检索分区数据offset，且Kafka数据结构可能不支持时间戳，因此会引发同步任务延时统计错乱，造成无法正确重置同步位点。kafka数据源配置详情请参考：配置Kafka数据源。操作步骤 进入 数据开发 页面。登录 ...
配置参数说明
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
Teradata迁移至云原生数据仓库 AnalyticDB PostgreSQL...
源库的操作限制：在库表结构迁移和全量迁移阶段，请勿执行库或表结构变更的DDL操作，否则数据迁移任务会失败。本场景暂不支持增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。其他限制 目前仅支持在上海、青岛、...
Kafka实时ETL同步至Hologres
如果您的独享数据集成资源组和数据源属于同一地域，可使用同地域VPC内网（AnyTunnel或者SingleTunnel）连通独享资源组和数据源。如果是SingleTunnel网络类型实现网络连通需要执行：在DataWorks侧新增专有网络绑定和自定义路由。在数据源侧...
玄武分析型存储
玄武采用了自适应列级自动索引技术，针对字符串、数字、文本、JSON、向量等列类型都有自动配置的索引数据结构，并且可以做到列级索引任意维度组合检索、多路渐进流式归并，大幅提升了数据过滤性能。目前索引类型主要有：倒排索引、BKD-Tree...
ClickHouse整库数据离线同步至Hologres
如果您的独享数据集成资源组和数据源属于同一地域，可使用同地域VPC内网连通独享资源组和数据源。实现网络连通需要执行：在DataWorks侧新增专有网络绑定和自定义路由。在数据源侧添加数据库白名单。如果您的独享数据集成资源组和数据源属于...
日志服务通过数据集成投递数据
通过向导模式配置同步任务 在离线节点编辑页面，选择数据来源和数据去向。参数 描述 数据来源 选择 LogHub。数据源名称 选择以添加的日志服务数据源名称。资源组 选择独享数据集成资源组。数据去向 选择MaxCompute。数据源名称 选择以添加...
数据格式描述文件
键 格式 描述 是否必须 dimensions JSON数组 数据包含的维度。每个维度可以只是个字符串，或者可以额外指明维度的属性。例如“dimensions”:[“dimenssion1”,“dimenssion2”,“{“type”:“long”,“name”:“dimenssion3”}]，默认是...
内存型
数据结构模块集成 集成多个自研的数据模块，包括 exString（包含 Redis String命令增强）、exHash、GIS、Bloom、Doc、TS、Cpc、exZset、Roaring、Vector 和 Search，扩展了Redis的适用性，使业务无需再关心存储的结构和时效性，能够极大...
新建Elastic Job类型的公共节点
配置 节点输入：如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。配置 节点输出：如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，...
PolarDB-X 1.0同步至DataHub
费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 ...
RestAPI Reader最佳实践
返回数据结构：本示例接口的返回结果为一个JSON数组，此处选择 数组数据。数据存储json路径：本示例接口获取的数据存储于data下，此处配置为 data。请求参数：请求参数与调度参数搭配使用，实现每天同步当天数据的。请求参数配置为 ...
新建Elastic Service在线类型的节点并运行
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
新建Elastic Service在线类型的节点并运行
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
新建 TiDB 数据源
重要 您在 TiDB 数据库中配置的待订阅库表，需要和数据传输的数据迁移项目中配置的库表名保持一致。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建...
从SLS同步
已创建与SLS数据结构和类型对应的云数据库ClickHouse表。如何创建，请参见 创建表。操作步骤 登录 云数据库ClickHouse控制台。在集群列表页面，选择 默认实例列表，单击目标集群ID。在左侧导航选择日志投递，单击新建SLS日志投递。在 SLS...
新建Blink类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Blink类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
系统管理
资源组限制：数据上传功能需指定调度资源组和数据集成资源组。上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks...
- 产品推荐
- 这些文档可能帮助您