常见问题
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
新建普通维度逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。④ 字段列表...
新建普通维度逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可以根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。ArgoDB、...
数据接口配置说明
配置数据字段 在数据接口设置页签中，默认情况下系统会自动添加一个示例数据字段，您可以自定义按操作配置数据字段。操作 说明 编辑字段基本信息 每一个数据字段中包含多个字段参数内容，您可以自定义编辑字段的参数内容。字段名：输入数据...
下拉单选
①来源于数据集：选择 数据集 后可支持数据集内 数据字段 选择您所需要的选项。②数据集：下拉菜单选择当前空间中的 某一个数据集。③数据字段：下拉菜单选择所选数据表中的 某一个数据字段。④默认值：根据设置 数据字段内容 进行下拉选择...
新建事实逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。③ 字段列表...
修改同步对象
若源库为SQL Server，则在修改同步对象时不支持新增或移除数据库的操作。操作步骤 进入同步任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据同步。说明 若您登录...
新建事实逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。ArgoDB、...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 RDS PostgreSQL 实例创建专用于数据同步项目的高权限账号。详情请...
数据传输服务DTS如何同步一个表的某些字段数据
概述 本文主要介绍数据...详细信息 数据传输服务DTS可以实现同步一个表的某些字段数据，不同步其他字段，具体操作请参见 库表列映射。如果目标的对象已经存在数据，数据传输服务DTS会出现预检查失败，无法进行迁移。适用于 数据传输服务DTS
云数据库MongoDB版同步至云原生多模数据库Lindorm
数据传输服务DTS（Data Transmission Service）支持将MongoDB（副本集架构或分片集群架构）同步至云原生多模数据库Lindorm（宽表引擎）。Lindorm具有稳定、低成本、简单易用等优势，可以在元数据、订单、账单、画像、社交等场景中，为您...
通过数据同步功能同步Kafka至湖仓版（推荐）
如果已存在同名数据库，数据会同步到已存在的数据库中。库名命名规则，详见 使用限制。表名 同步到 AnalyticDB MySQL 的表名称。如果库中不存在同名表，将新建表；如果库中已存在同名表，数据同步会失败。表名命名规则，详见 使用限制。样...
03配置逻辑表关联字段标准
通过关联数据标准中的标准字段，实现字段值的统一和规范化，帮助您管控治理后数据的一致性和数据质量，本文介绍如何配置逻辑表字段，关联标准字段。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已创建数据元...
索引、属性、字段作用详解
通俗说就是数据库的名字 字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系...
数据集常见问题
在数据库中修改某字段类型后，如何处理数据集该字段类型没有更新的问题？如何处理重新加载被删除的数据源后，表结构同步成功但数据同步依然失败的问题？如何在数据集中添加已删除的维度或度量？MaxCompute数据源同步表结构是否有延迟？源...
索引、属性、字段作用详解
通俗说就是数据库的名字 字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系...
RDS MySQL同步至函数计算FC
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
Quick BI维度或度量字段如何重命名
产品名称 Quick BI 产品模块 仪表板 概述 本文主要介绍Quick BI中如何对报表中显示的数据字段重命名。问题描述 根据业务需求在报表显示的字段要重命名，但是不知道如何对仪表板中的度量字段进行重命名为自定义的别名？问题原因 没有找到...
RDS MySQL数据库触发器
您可以在数据传输服务DTS（Data Transmission Service）控制台创建数据同步任务，实时或定时将 云数据库 RDS MySQL 版 实例的增量数据同步至 函数计算 的指定函数。然后结合同步至函数中的数据，在 函数计算 编写相应的代码，对接收到的...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
行业算法版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT 行业算法版表的字段类型与数据库表的字段类型的对应关系 行业算法版表 ...
创建逻辑模型：明细表
明细表用于存储大量能够体现业务活动状况的实际数据或详细数值，是数据聚合后依据某个维度生成的结果表。例如，分析产品销售情况，您可以创建销售明细表，用来存储产品维度（作为外键）、时间维度（作为外键）以及销售总量。本文为您介绍...
5.数据展示和修改
文本介绍如何进行字段数据的展示和修改。系统组件展示和修改数据 目前我们的组件还没有使用平台的数据，在此之前，我们先以系统组件为例，看下系统组件如何展示和修改数据。首先我们创建一个实体来表示业务数据。姓名字段是我们要展示和...
Amazon Redshift数据源
where 条件不配置或为空时，则视作全表同步数据。否 无 splitPk 如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片。数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能。否 无 Amazon Redshift Writer脚本...
数据脱敏
在数据集中设置需要脱敏的字段，系统将该字段中的敏感数据进行模糊化处理，使得该字段在仪表板、电子表格或自助取数中以脱敏的形式展示，保护数据安全。前提条件 已创建数据集，请参见 创建并管理数据集。脱敏规则及效果展示 说明 本文档仅...
配置图表数据
批量配置字段样式 ② 筛选数据 ③ 定时刷新数据 ④ 设置数据展示结果 ⑤ 新建计算字段 ⑥ 新建分组维度 ⑦ 新建占位符 ⑧ 复制转维度 ⑨ 编辑数据集 ⑩ 切换数据集 ⑪ 上传本地文件 ⑫ 新建数据集 批量配置字段样式 当有多个字段数据需要...
系统表
字段说明：字段 说明 schema 数据库名称。last_active_time 上次活跃时间。create_time 建立连接的时间。connection_id 连接ID。ip_port AnalyticDB for MySQL 接入层节点IP和端口号。access_ip 客户端IP。user 用户名。kepler_persist_...
离线同步常见问题
实例ID形式添加数据源：在数据库名后拼接，格式为 database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45 。修改数据库相关的编码格式为utf8mb4。例如，在RDS控制台修改RDS的数据库编码格式。说明 设置RDS数据源编码格式命令：set...
场景：调度参数在数据集成的典型应用场景
场景一：同步增量数据 重要 数据集成任务配置过程中，支持在数据过滤相关参数中使用调度参数，实现增量同步，同时您需要配置满足数据库的语法。增量同步详情请参见：场景：配置增量数据离线同步任务。示例1：将LogHub每十分钟内的增量数据...
配置图表数据区
您可以在数据加工页面，进行以下操作：切换数据集（①）编辑数据集（②）新建计算字段（③）新建分组维度（④）新建维度组（⑤）新建占位符（⑥）预览数据集中的数据（⑦）上传本地文件（⑧）新建数据集（⑨）可视化配置 在仪表板内完成...
增量数据同步
勾选该项，本同步任务首次运行将会全量同步数据。不勾选 在 字段映射 区域默认选择 同名映射。在 解析配置 区域，可编写解析脚本，该步骤为可选项，本文不做设置。说明 配置完解析脚本后，将不再对源端配置的增量字段作解析，直接使用配置...
飞线层（v4.x版本）
数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些字段映射到组件对应的字段上。无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，...
无感集成（Zero-ETL）
配置库表字段，配置信息如下：库表字段配置 说明 示例值 数据库名称 选择已有的数据库。public 表名称 选择已有的数据表。table1 主键字段 已选数据表中的主键所在字段。id 分布键 数据表中的一个或多个字段，用来确定数据在分布式环境下的...
通用参考
status字段的初始类型为VARCHAR|where cast(status as BIGINT)>=500-将status字段的类型转为BIGINT，再进行比较 类型保持 在SPL处理数据过程中，使用extend指令对字段进行数据类型转换后，后续的处理逻辑将沿用转换后的数据类型。...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
附录：消息格式
QUERY：数据库变更的原始SQL TRUNCATE：数据库表清空 RENAME：数据库表重命名 CINDEX：创建索引 DINDEX：删除索引 MHEARTBEAT：用于在源端无新增数据时标识同步仍正常进行的心跳消息 timestamp JSONObject 类型，本条数据的相关时间戳。...
数据迁移与同步FAQ
对比项 DTS数据迁移 DTS数据同步 适用场景 主要用于迁移数据上云，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云Redis实例。主要用于两个Redis数据库之间的数据实时同步，例如从实例A同步至实例B。可用于异地多活、...
MaxCompute数据源
离线读MaxCompute分区表时，不支持直接对分区字段进行字段映射配置，需要在配置数据来源时指定待同步数据的分区信息。例如，分区表t0其字段包含id、name两个字段，一级分区为pt，二级分区为ds。读取t0的pt=1，ds=hangzhou分区数据时，您...
自定义KV模板
数据版式固定：业务数据类型多，但每一类型数据字段明确可标识且Key-Value位置固定，例如学生证、结婚证、银行转账单等资质审核、财务报销、业务数据结构化等场景。相关链接 OCR文档自学习：控制台入口 自定义KV模板开发指南：在线调试，...
- 产品推荐
- 这些文档可能帮助您