下拉多选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段 ⑤默认值：根据设置 数据字段内容 进行下拉选择。来源于 选择 数据集。①来源于数据集：选择 数据集 后可支持数据集内 数据字段 选择您所需要的选项。②数据集：下拉菜单选择当前...
树形下拉
③数据字段：下拉菜单选择所选数据表中的 数据字段。校验 配置项 描述说明 ①必填：选择是否设置该配置项，勾选后该控件将设置为 必填项。②输入数据无效时提示文字：有校验条件生效时，该配置项才可生效，比如：勾选 必填 后，若没有选项...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
示例：模型设计
说明 设置默认值不会影响代码生成和数据库DDL语句。整数数值类：Integer（整数）、Long（长整型）。可选择该字段是否为 主键、是否 必填、是否 唯一，并设置 默认值。小数数值类：Double（小数）、Decimal（高精小数）。该类型不支持作为...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
配置并管理实时同步任务
编辑目标Topic结构 目前 自动建表 生成的DataHub Topic生命周期默认只有7天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标Topic时，将自动为源端字段匹配目标端可写入的字段类型。...
常见问题
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
整库离线同步至MaxCompute
编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。...
UpdateTableMeta-更新数据表
reso-2s416t*TableName string 是 数据库中的表名。table_mysql Module string 是 数据表模块。ABTest：实验数据表。ExperimentTool：实验工具表。DataDiagnosis：数据诊断 ABTest InstanceId string 是 实例 ID，可通过接口 ListInstances...
申请、续期和交还表权限
查表数据：拥有表级查表数据权限可以查询表的任意字段，包括后续新增字段。同时可单独申请字段的查表数据权限，两者按照最长有效期生效。改表数据：拥有表级的改表数据权限。删除表：删除整表的权限（drop）。改表结构：修改表结构的权限，...
申请、续期和交还表权限
查表数据：拥有表级查表数据权限可以查询表的任意字段，包括后续新增字段。同时可单独申请字段的查表数据权限，两者按照最长有效期生效。改表数据：拥有表级的改表数据权限。删除表：删除整表的权限（drop）。改表结构：修改表结构的权限，...
03配置逻辑表关联字段标准
通过关联数据标准中的标准字段，实现字段值的统一和规范化，帮助您管控治理后数据的一致性和数据质量，本文介绍如何配置逻辑表字段，关联标准字段。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已创建数据元...
新建层级维度逻辑表
数据过滤条件 您可以对来源表字段定义数据过滤条件。单击 保存并下一步。步骤三：配置层级维度逻辑表调度&参数配置 在 调度&参数配置 页面，配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。各配置说明如下：数据延迟...
新建层级维度逻辑表
数据过滤条件 您可以对来源表字段定义数据过滤条件。单击 保存并下一步。步骤三：配置层级维度逻辑表调度&参数配置 在 调度&参数配置 页面，配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。各配置说明如下：数据延迟...
数据类型映射
本文介绍了数据表中和多元索引中字段数据类型的映射关系以及不同字段数据类型支持的附加属性信息。多元索引的字段值来源于数据表中同名字段的值，两者的数据类型必须相匹配，多元索引字段数据类型与数据表中字段数据类型的匹配关系请参见下...
一键实时同步至Hologres
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
计算列配置
计算列配置规则 配置内容 新增计算列时，需要配置以下内容：英文字段名：若数据源为数据库，即数据库中的字段名称；若数据源为表格文件，指根据表格模板填写的英文字段名称或系统根据表格文件翻译的英文名称。字段业务含义：是对字段所表示...
查看血缘关系
实体在血缘图展示中抽象成为节点，血缘关系的节点包含以下两类：数据节点：对于存储数据的介质的抽象，包括元数据（Catalog、DB、表、字段）。作业节点：对于部署的抽象，一个Flink SQL作业。关系 生产实体的上游，以及使用它的下游，都是...
数据集成服务
且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...
定义SQL组件
字段1名 字段1类型 字段1注释 字段2名 字段2类型 字段2注释 …… 字段n名 字段n类型 字段n注释 示例如下：area_id string‘区域id’city_id string‘城市id’order_amt double‘订单金额’String：若使用组件加工源表数据时，需通过变量...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
创建数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
端到端图搜解决方案
图片存储于OSS 模板选择“向量：图片搜索”模板后，系统默认生成4个预置字段id（主键）、cate_id（类目字段）、vector（向量字段）、vector_source_image（存储图片路径的字段），用户选择MaxCompute数据源后，从数据源同步的字段，展示在...
文档更新动态（2023年）
集成任务通道配置优化，减少集成任务因各类异常导致的无效等待时长：数据库重试连接次数默认值由7次改为1次，减少因数据库连接问题导致过久的重试及等待时长。新增SQL执行超时时长，默认为30分钟，准备语句或结束语句执行时间超过该配置时...
创建全域数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
配置SQL审核优化建议
表结构定义 检测项 适用的SQL语句 规则名称与规则标识 库属性 CREATE DATABASE 限制创建库的字符集：CREATE_DATABASE_LIMIT_CHARSET 表属性 CREATE TABLE ALTER TABLE 表要有主键：TABLE_MUST_HAVE_PRIMARY_KEY 表要有备注：TABLE_MUST_...
创建全域数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
功能更新动态（2023年）
集成任务通道配置优化，减少集成任务因各类异常导致的无效等待时长：数据库重试连接次数默认值由7次改为1次，减少因数据库连接问题导致过久的重试及等待时长。新增SQL执行超时时长，默认为30分钟，准备语句或结束语句执行时间超过该配置时...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见...
批量创建质量规则
数据表：当 规则模板 选择 稳定性-表稳定性校验 和 稳定性-表波动性校验 时，支持表级配置。对象选择 只需勾选数据表。数据源：当 规则模板 选择 稳定性-表结构异动监测，支持表级配置。对象选择 需勾选数据表。单击 下一步。单击 取消 后...
批量创建质量规则
数据表：当 规则模板 选择 稳定性-表稳定性校验 和 稳定性-表波动性校验 时，支持表级配置。对象选择 只需勾选数据表。数据源：当 规则模板 选择 稳定性-表结构异动监测，支持表级配置。对象选择 需勾选数据表。单击 下一步。单击 取消 后...
MaxCompute+API 数据源
示例：ds=20170626 时间戳：如果有API的增量数据，该配置表示回追多久的增量数据，系统默认最大能回追3天的API增量数据 自动索引重建：是否开启自动索引重建任务，如果开启，则将在识别到当前数据源的变更时，自动对引用该数据源的索引表...
一键实时同步至DataHub
编辑目标Topic结构 目前 自动建表 生成的DataHub Topic生命周期默认只有7天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标Topic时，将自动为源端字段匹配目标端可写入的字段类型。...
- 产品推荐
- 这些文档可能帮助您