DM（达梦）数据源
是 无 column 所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息，默认使用所有列配置，例如[*]：支持列裁剪，即列可以挑选部分列进行导出。支持列换序，即列可以不按照表schema信息顺序进行导出。支持常量配置，您需要按照JSON...
HybridDB for MySQL数据源
表字段可以依序指定全部列、部分列、调整列顺序、指定常量字段和配置HybridDB for MySQL的函数，如now()等。支持的字段类型 HybridDB for MySQL Reader和HybridDB for MySQL Writer针对HybridDB for MySQL类型的转换列表，如下所示。类型...
GBase8a数据源
数据同步任务开发 GBase8a数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
云数据库MongoDB版迁移至云原生多模数据库Lindorm
说明 若目标表是用HBase创建的，请注意如下事项：ETL的语法包括需要配置的列和需要排除的列，在迁移过程中会将MongoDB已配置ETL的文档（Document）所有顶层字段，存储在HBase表默认的列族f中。以下示例表示：将除_id 和 name 两个顶层元素...
OTSStreamReader常见问题
OTSStreamReader运行时出现“配置中的源表的列个数和目的端表不一致，源表中您配置的列数是:xx大于目的端的列数是:xx”错误 问题现象 OTSStreamReader运行时出现“配置中的源表的列个数和目的端表不一致，源表中您配置的列数是:xx 大于目的...
AnalyticDB for PostgreSQL数据源
数据同步任务开发 AnalyticDB for PostgreSQL数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个...
云数据库MongoDB版同步至云原生多模数据库Lindorm
已选择对象 若目标库中的宽表是通过Lindorm SQL创建的，需要通过配置新增列的方式同步数据，未配置的列不会同步至目标库。编辑库名映射。右键单击 已选择对象 中的待同步集合所属的库。将 Schema名称 修改为Lindorm中目标库的名称。可选：...
新增附加列
注意事项 支持新增附加列的DTS实例如下：自建Oracle同步或迁移到DataHub Db2 for LUW同步或迁移至PolarDB MySQL MongoDB同步或迁移至Lindorm MySQL间的同步或迁移 MySQL同步或迁移到 AnalyticDB MySQL版 在修改数据同步的附加列规则前，您...
AnalyticDB for MySQL 3.0数据源
是 无 column 所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息，默认使用所有列配置，例如[*]。支持列裁剪，即列可以挑选部分列进行导出。支持列换序，即列可以不按照表组织结构信息的顺序进行导出。支持常量配置，您需要按照...
接入层配置
本文介绍如何配置同城多活的接入层。前提条件 新建同城多活实例 操作步骤 登录 AHAS控制台。在控制台左侧导航栏中单击 多活容灾。在左侧导航栏选择 多活实例，进入 多活实例 列表页。在 多活实例 列表页选择需要配置接入层的 多活实例，...
列存索引常见问题
使用 ALTER TABLE 语句为现有表动态添加列索引后，列索引的构建是在只读列存节点异步完成的，通过连接开启行存/列存分流的集群地址或者直连列存节点，可以查询 INFORMATION_SCHEMA.IMCI_INDEXES 表以获得列索引的构建状态，只有 COMMITTED ...
PolarDB-X 2.0数据源
数据同步任务开发：PolarDB-X 2.0同步流程引导 PolarDB-X 2.0数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在...
接入层配置
本文介绍如何配置异地双活的接入层。前提条件 新建异地双活实例 操作步骤 登录 AHAS控制台。在控制台左侧导航栏中单击 多活容灾。在左侧导航栏选择 多活实例，进入 多活实例 列表页。在 多活实例 列表页选择需要配置接入层的 多活实例，...
接入层配置
本文介绍如何配置异地应用双活的接入层。前提条件 新建异地应用双活实例 操作步骤 登录 AHAS控制台。在控制台左侧导航栏中单击 多活容灾。在左侧导航栏选择 多活实例，进入 多活实例 列表页。在 多活实例 列表页选择需要配置接入层的 多活...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
SQL Server数据源
BIT 二进制类 BINARY、VARBINARY、VARBINARY（MAX）和TIMESTAMP 数据同步任务开发 SQL Server数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行...
PolarDB数据源
PolarDB数据源为您提供读取和写入PolarDB双向通道的功能，您可以通过向导模式和脚本模式配置同步任务。使用限制 离线读写 支持读取视图表。实时读 来源数据源为阿里云PolarDB MySQL时，您需要开启Binlog。阿里云PolarDB MySQL是一款完全...
数据上传
选择待上传数据及存放该数据的目标表后，您可预览数据详情，并配置数据所在文件的列与目标表字段的映射关系，配置后相关数据才可被成功上传。说明 目前仅支持预览前20条数据。参数说明如下。参数 描述 预览数据并设置目标表字段（上传数据...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
配置公网带宽最佳实践
本文为您介绍公网带宽的计费模式、如何配置公网带宽以及转换带宽的计费方式，以满足您不同的业务需求。公网带宽计费模式 根据不同的业务场景，公网带宽的计费模式包括按固定带宽和按使用流量两种。详细说明如下表所示：业务场景 带宽计费...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
数据节点
当核对的数据量较大时，可选择参与核对字段的某个字段，针对某几位进行散列，读取到的数据就会按照散列后的值散列到不同分片中，支持后续并发排序和核对，从而提升核对效率。说明 散列字段可以与排序字段保持一致。散列位数：自定义的散列...
管理列映射
通过开源客户端使用搜索索引需要将宽表的数据同步至索引表，同步的方法是建立宽表和索引表的列映射，列映射配置完成后，需要对列映射进行管理操作，包括创建列映射、查看列映射、增加列映射、删除列映射。前提条件 已安装Java环境，要求...
配置列映射
配置示例 宽表和索引表的列映射采用JSON文件实现，列映射的配置示例如下，将宽表 testTable 的数据同步至索引表 democollection，宽表的 f:name 这一列映射到索引表的 f_name_s 这一列，宽表的 f:age 这一列映射到索引表的 f_age_i 这一列...
配置产品在工作台展示
为方便员工跟踪某产品的项目进展，您可以将该产品配置到员工个人的工作台。配置完成后，员工可以在工作台看到该产品的今日任务。操作步骤 登录云市场 交付中心。在交付中心左侧，选择>...配置完成后，状态 列的状态由 未配置 变成 已配置。
Hive数据脱敏
每个Policy只能配置一个列的Mask策略，多个列时需要配置各个列的Mask Policy。Hive组件配置Ranger，详情请参见 配置Hive集成Ranger。在Ranger页面，单击 emr-hive。配置Masking Policy。单击上方的 Masking 页签。单击右上角的 Add New ...
新增脱敏算法
注意事项 对于安全协同模式的实例，在字段配置脱敏算法后，您需要申请半脱敏权限，才能看到按照该脱敏算法进行脱敏后的数据。如果您没有半脱敏权限，则您只能看到全脱敏（即全遮掩）的数据。申请半脱敏权限的操作，请参见 管理访问控制权限...
构建全量数据索引
宽表和索引表的列映射关系配置完成后，实时写入宽表中的数据将自动同步到索引表中。对于宽表中的全量数据，需要手动执行全量构建索引才可以完成数据同步。本文介绍通过构建索引完成全量数据同步。前提条件 已安装Java环境，要求安装JDK 1.8...
管理配置
创建完配置后，就可以在代码里使用了。由于配置容易发生变化，因此经常需要在ACM控制台编辑配置。ACM控制台提供了搜索、查看、编辑、删除配置等功能。迁移到MSE Nacos ACM进入下线状态，所有配置管理相关的需求由MSE中的Nacos承接（ACM独享...
管理配置项
本文为您介绍如何修改和添加配置项。前提条件 已在E-MapReduce上创建on ACK的集群，创建详情请参见 快速入门。修改配置项 进入配置页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群操作列的 配置。在搜索框中，输入待修改的...
管理授权规则
授权规则用于配置访问策略，指定物联网终端用户可以访问的目标地址。授权规则介绍 授权规则由目标地址类型、目标地址和访问策略组成。目标地址类型包括域名和网段，访问策略包括允许和拒绝。您可以针对不同的物联网终端设置允许或拒绝访问...
计量图（Pro版本）
A>POST 表示对查询分析A中的 POST 列进行配置，将该列对应的条形图设置为蓝色。A>PUT 表示对查询分析A中的 PUT 列进行配置，将该列对应的条形图设置为绿色。A>D 表示对查询分析A中的 D 列进行配置，将该列对应的条形图设置为黄色。另外，...
授权规则管理
授权规则用于配置访问策略，通过授权规则可以允许或拒绝物联网终端访问目标地址。授权规则介绍 授权规则由目标地址类型、目标地址和访问策略组成。目标地址类型包括域名和网段，访问策略包括允许和拒绝。您可以针对不同的物联网终端设置...
管理HBase全文索引
其中 f:name 这一列（列族名和列名用冒号隔开）映射到索引中的 name_s 这一列，f:age 这一列映射到索引中的 age_i 这一列。下面将解释每个配置项的具体含义和可以配置的参数值。参数名 含义 sourceNamespace HBase表的namespace名，如果表...
统计图（Pro版本）
B>POST 表示对查询分析B中的 POST 列进行配置，将该列对应的单值图设置为蓝色。C>PUT 表示对查询分析C中的 PUT 列进行配置，将该列对应的单值图设置为橙色。D>D 表示对查询分析D中的 D 列进行配置，将该列对应的单值图设置为黄色。另外，...
列存索引（IMCI）
列存索引（IMCI）概述 免费体验PolarDB MySQL列存索引（IMCI）使用说明 添加只读列存节点 列存索引语法说明 HTAP行列分流方案 进阶使用列存索引 列存索引配置参数说明 列存索引技术白皮书 列存索引原理剖析 列存索引常见问题
列值翻译
在实时监控平台中，与日志筛选中的白名单筛选列、黑名单筛选列，以及列值分组中的分组列相关的列值配置页面都有列值翻译功能。列值翻译功能支持脚本导入。当翻译量较大时，可以将之前配置过的类似翻译规则转化为脚本并复制到当前脚本配置框...
- 产品推荐
- 这些文档可能帮助您