LogHub（SLS）实时ETL同步至Hologres
保存 建表结构 或 选择已有表时，会自动按照 同名映射 原则生成上游列与Hologres表列之间的映射，可根据需要进行调整秒支持一个游列映射到多个Hologres表列，不允许多个上游列映射到一个Hologres表列，当上游列未配置到Hologres表列的映射...
BUILD
SET ADB_CONFIG 既支持对单张表配置优先级，也支持对多张表配置优先级，且优先级一直生效，直至再次配置该表优先级时，才会改变。如果同时使用Hint和 SET ADB_CONFIG 为同一个表配置了不同的优先级，在当前提交的任务中，该表的BUILD调度...
进度条
您可以在配置区顶部的 搜索框 中输入关键字快速查找 配置项 进行配置。同时单击右侧 图表支持操作 展开/收起全部类别。在 占比条 中，设置 可视化图表类型、展示个数 和 配色设置、占比条宽度。图表配置项 配置项说明 可视化图表切换 支持...
配置离线数据集成节点
目标表配置 导入数据前置行为 输入导入数据前执行的SQL语句，选择是否清空目标表数据。导入数据后置行为 输入导入数据后执行的SQL语句。字段映射-您可以根据需要选择目标表全部字段的映射关系。同名映射：系统默认将同名字段连接为映射关系...
环形柱状图
您可以在配置区顶部的 搜索框 中输入关键字快速查找 配置项 进行配置。同时单击右侧 图表支持操作 展开/收起全部类别。在 绘图区域 中，您可以为环形柱状图设置 配色。在 坐标轴 中，您可以设置是否 显示轴标签 以及标签 文本样式。在 图例...
数据集成服务
具体数据源配置如下：源数据源：MaxCompute数据源 目标数据源：Tablestore数据源 同步表格存储数据表中数据到另一个数据表 表格存储数据表数据只支持迁移到表格存储另一个数据表中。迁移过程中会使用到表格存储的Reader脚本配置和Writer...
库表列映射
库表列名单个映射 在配置数据迁移任务的设置 迁移类型及列表 环节中，将要迁移的对象移动到 已选择 区域框中，然后将鼠标指针放置在要修改库或表名上，并单击对象后出现的 编辑。重要 支持的对象取决于DTS对该数据库的迁移对象支持情况。在...
配置规则：按模板（批量）
还支持您按表配置数据质量规则，详情请参见 配置规则：按表（单表）。使用限制 按模板配置目前支持配置EMR（E-MapReduce）、Hologres、AnalyticDB for PostgreSQL、MaxCompute数据源的监控规则。进入按模板配置监控规则页面 登录 DataWorks...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
配置DM（达梦）输出组件
在 达梦输出配置 对话框，按照下表配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。数据源 选择数据源。选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 ...
配置DM（达梦）输出组件
在 达梦输出配置 对话框，按照下表配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。数据源 选择数据源。选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 ...
离线模式配置概述
配置 离线模式 在离线模式配置面板，您需根据下表配置 流批一体任务 离线模式的资源与依赖关系相关参数。配置项 描述 调度配置 调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期...
实时模式配置概述
配置实时模式 在实时模式配置面板，您需要根据下表配置实时 任务 实时模式的资源与依赖关系相关参数。配置项 描述 资源配置 开源Flink实时计算源 对于开源Flink创建的实时任务，任务的实时模式资源配置支持配置任务的生产环境和开发环境的...
功能更新动态（2023年）
支持为Dataphin表和全域数据表监控对象配置打分权重以及为Dataphin表（自定义配置）和全域数据表的质量规则配置打分权重。创建全域数据表规则 创建数据表质量规则 数据安全 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+...
文档更新动态（2023年）
支持为Dataphin表和全域数据表监控对象配置打分权重以及为Dataphin表（自定义配置）和全域数据表的质量规则配置打分权重。更新说明 创建全域数据表规则 创建数据表质量规则 资产安全-敏感数据识别 安全扫描适配分区字段不是ds或者无分区的...
PolarDB数据源配置
支持单个或多个数据源表数据横向合并，要求这些源表结构及数据源插件配置必须完全相同，并且主键值均不重复（主键值重复会覆盖），主要支持以下2种场景：应用表中配有一个数据源，并且包含多个源表。应用表中配有多个数据源，并且各数据源...
PolarDB数据源配置
支持单个或多个数据源表数据横向合并，要求这些源表结构及数据源插件配置必须完全相同，并且主键值均不重复（主键值重复会覆盖），主要支持以下2种场景：应用表中配有一个数据源，并且包含多个源表。应用表中配有多个数据源，并且各数据源...
配置任务监控报警规则
Dataphin支持批量配置任务级和字段级的监控报警，任务级支持物理任务、逻辑表任务，字段级支持逻辑表字段，便于您及时发现并处理任务报警，同时提高任务监控报警配置的效率。本文为您介绍如何为任务和逻辑表字段配置监控报警规则。前提条件...
配置任务监控报警规则
Dataphin支持批量配置任务级和字段级的监控报警，任务级支持物理任务、逻辑表任务，字段级支持逻辑表字段，便于您及时发现并处理任务报警，同时提高任务监控报警配置的效率。本文为您介绍如何为任务和逻辑表字段配置监控报警规则。前提条件...
数据质量入门
查找目标表并进入表规则配置页面。在左侧导航栏单击 规则管理>按表配置。通过引擎、表名称等信息筛选，找到目标表。单击目标表 操作 列的 配置监控规则。本文示例进入 result_table 表的监控规则配置页面，步骤如下图。配置分区表达式。...
批量上传质量规则
支持通过Excel批量上传质量规则，帮助您为多个数据表配置质量规则，提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用说明 Dataphin数据表和全域...
批量上传质量规则
支持通过Excel批量上传质量规则，帮助您为多个数据表配置质量规则，提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用说明 Dataphin数据表和全域...
一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式，为目标表在源有表字段...
一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式，为目标表在源有表字段...
DNS概述
search 设置域名的查找后缀规则，查找配置越多，说明域名解析查找匹配次数越多。ACK集群匹配有 kube-system.svc.cluster.local、svc.cluster.local、cluster.local 3个后缀，最多进行8次查询才能得到正确解析结果，因为集群里面进行IPv4和...
Tablestore数据源
table":"",/表名/读时序数据mode必须为normal"mode":"normal",/读时序数据newVersion必须为true"newVersion":"true",/配置该表为时序表"isTimeseriesTable":"true",/measurementName：配置需要读取时序数据的度量名称，非必需，为空则读取...
通过DTS导入数据
否则您需要在 配置任务对象高级配置 步骤中勾选 库表结构同步，并在 配置库表字段 把该表配置为unique模型，同时需要您手动配置主键列。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报...
DNS原理和配置说明
search 设置域名的查找后缀规则，查找配置越多，说明域名解析查找匹配次数越多。ACS集群匹配有 kube-system.svc.cluster.local、svc.cluster.local、cluster.local 3个后缀，最多进行4次查询才能得到正确解析结果。options 定义域名解析...
通用批量导入服务
如果导入至Lindorm兼容HBase表，columns需要配置HBase表标准的列名，和读配置中的column对应。timestamp：数据在Lindorm宽表中的时间戳，支持以下类型：时间戳列为Long类型，值为13位。时间戳列为String类型，格式为yyyy-MM-dd HH:mm:ss...
新增逻辑表质量规则
步骤三：配置规则 配置表规则 当 步骤一：选择规则类型 中选择的规则类型为表规则时，执行如下操作。在 配置规则 区域框中，选择 规则类型，这里以MaxCompute云资源类型的表规则为例介绍。选择趋势和比较方式以及期望值。强规则：若质量...
新增逻辑表质量规则
步骤三：配置规则 配置表规则 当 步骤一：选择规则类型 中选择的规则类型为表规则时，执行如下操作。在 配置规则 区域框中，选择 规则类型，这里以MaxCompute云资源类型的表规则为例介绍。选择趋势和比较方式以及期望值。强规则：若质量...
配置Kafka输出组件
在 KAFKA输出配置 对话框，按照下表配置参数。参数 说明 步骤名称 根据当前组件的使用场景及定位，输入合适的名称。数据源 选择Dataphin已配置的数据源。同时您可以单击 数据源 后的 新建，进入规划模块新建数据源。后续操作，详情请参见 ...
配置Kafka输出组件
在 KAFKA输出配置 对话框，按照下表配置参数。参数 说明 步骤名称 根据当前组件的使用场景及定位，输入合适的名称。数据源 选择Dataphin已配置的数据源。同时您可以单击 数据源 后的 新建，进入规划模块新建数据源。后续操作，详情请参见 ...
表格问答
AliyunOpenSearchReadOnlyAccess：也可以单独给某个实例进行权限设置，详情可参考 RAM（子账号）的创建及授权 购买实例 购买实例可参考 购买智能问答版实例 配置实例 实例购买完成后，等待实例状态“正常”后，即可进行配置：配置自定义表：...
导出全量数据到OSS
如果所用的数据存储模型是宽表模型（即使用数据表存储数据），则需要同步数据表中的数据，请按照 同步数据表数据的任务配置 进行配置。如果所用的数据存储模型是时序模型（即使用时序表存储数据），则需要同步时序表中的数据，请按照 同步...
通过整库迁移配置集成任务
名称转化配置：非必选，名称转换配置可将您来源表的表名、字段名进行替换或过滤数据后进行同步。单击 名称转换配置。在 名称转换配置 页面，配置转换规则。表名转换规则：单击 新建规则，在规则项中填写 来源表待替换字符串 和 目标表替换...
导出全量数据到MaxCompute
如果需要导出全表数据，则配置示例如下：主键区间分布（起始）的配置示例[{"type":"INF_MIN"},{"type":"INF_MIN"}]主键区间分布（结束）的配置示例[{"type":"INF_MAX"},{"type":"INF_MAX"}]如果需要导出 pk1="tablestore"的行，则配置示例...
任务编排之电商打标
构建配置表consumption_records的数据，配置如下：操作步骤 创建配置表、业务表和消费券发放表，并写入数据。具体操作请参见 环境准备。新增任务流。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>任务编排。...
配置转换组件
背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表记录过滤：仅支持单个表结构。前提条件 已完成数据源信息的配置。配置表...
混淆矩阵
在画布中单击 读数据表-1 组件，在右侧 表选择 页签，配置 表名 为test_data。在画布中单击 混淆矩阵-1 组件，在右侧配置如下表中的参数，其余参数使用默认值。参数 描述 原数据的标签列列名 选择 label 列。预测结果的标签列列名 输入 ...
- 产品推荐
- 这些文档可能帮助您