DataV6.0数据集介绍
在 图表配置 模块，以 姓名 为X轴，销售额 为Y轴，直接从左侧柱状图配置表中将字段拖拽到 图表配置 内对应字段位置即可。参数 说明 X X轴的相关配置，您可以从左侧柱状图配置中拖拽过来，本案例中配置为姓名。单击字段右侧 图标，对X轴数据...
配置Quick引擎
配置表字段：分别为 customer 和 product_name 全局缓存配置 高级版和专业版的组织管理员支持配置全局缓存策略。新组织默认关闭全局缓存。您可以按照图示方式进入全局缓存配置。当选择 开启 全局缓存（①）后，您可以设置 相同查询直接返回...
配置健康检查
将边界路由器VBR（Virtual Border Router）连接至云企业网实例后，您可以通过云企业网的健康检查功能探测VBR实例关联的物理专线的连通性。在云企业网和本地数据中心存在冗余路由的场景下，健康检查探测到物理专线故障后支持自动切换到可用...
表结构配置管理
选择工作空间>配置管理>数据接入管理>数据导入>表结构配置，已配置的数据表列表如下图所示。表结构配置列表支持查看、编辑、查看调度任务、移除，但通过API导入的表结构配置（创建者是API同步）不支持编辑、移除。查看表结构配置 单击 查看...
Kafka单表实时入湖OSS（HUDI）
保存 建表结构 或者选择 使用已有表 时，系统会自动按照 同名映射 原则生成上游列与OSS表列之间的映射，您可根据需要进行调整，支持一个上游列映射到多个OSS表列，不允许多个上游列映射到一个OSS表列，当上游列未配置到OSS表列的映射时，...
更新时序表
使用UpdateTimeseriesTable，您可以更新时序表的配置信息或时间线表的配置信息，例如数据生命周期（Time To Live，简称TTL）配置。前提条件 已创建时序表。具体操作，请参见 创建时序表。已初始化TimeseriesClient。具体操作，请参见 初始...
Oracle同步至Tablestore
准备好Tablestore目标表字段后，您可以配置源表和目标表之间的字段映射，支持同名映射、同行映射或您可将鼠标悬浮在字段映射连线上手动编辑字段间的映射关系。当上游列未配置到Tablestore表列的映射时，对应列不会写入Tablestore表。高级...
逻辑表配置概述
调度配置 您可以通过配置逻辑表的调度配置，配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及...
逻辑表配置概述
配置逻辑表调度属性 您可以通过配置逻辑表的调度配置，配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化...
离线同步常见问题
以MySQL Reader插件切分键配置为例：推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前splitPk仅支持整型数据切分，不支持字符串、浮点和日期等其他类型。如果指定其他非支持类型，...
时序表操作
创建时序表后，您可以使用表、查询表信息、列出表名称、更新表以及删除表。说明 关于时序模型的更多信息，请参见 时序模型概述。创建表 创建一张时序表，同时指定时序表的数据生命周期（TimeToLive）。命令格式 create-m mode-t tableName-...
MySQL分库分表同步至MaxCompute
自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，简化大部分配置操作。如果自动扫描的结果不符合预期，只需要对自动扫描的结果做简单修正即可。复杂的物理库表规则可以...
MySQL分库分表同步至MaxCompute
自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，简化大部分配置操作。如果自动扫描的结果不符合预期，只需要对自动扫描的结果做简单修正即可。复杂的物理库表规则可以...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
边缘物业一体机网络配置错误
可以ping通外网，但不是自己配置的IP，就要看一下配置文件中有没有写错，或者是自动获取IP地址没有关，或者是配置完文件，没有重启网卡，配置完网络文件，一定要输入：ip a 看一下配置的对不对 4.DNS1一定要配置成223.5.5.5，可能激活时...
OSS数据离线同步至MaxCompute
内网产生的流入和流出流量均免费，如果您读写与数据集成资源组同地域的OSS Bucket，您可配置内网访问端口，否则，建议您配置外网访问端口。Region和Endpoint对照表请参见 访问域名和数据中心。添加数据源 新建OSS数据源 在DataWorks 数据源...
OSS数据离线同步至MaxCompute
内网产生的流入和流出流量均免费，如果您读写与数据集成资源组同地域的OSS Bucket，您可配置内网访问端口，否则，建议您配置外网访问端口。Region和Endpoint对照表请参见 访问域名和数据中心。添加数据源 新建OSS数据源 在DataWorks 数据源...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
二级索引
为数据表创建二级索引后，您可以使用索引表、查看索引表信息、使用索引表查询数据以及删除索引表。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1。已为数据表创建预定义列。创建二级索引 说明 二级索引包括全局二级...
逻辑表运行参数配置
逻辑表参数配置是对逻辑表中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文将指导您如何配置逻辑表参数。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。进入数据 开发 页面。在数据 开发 页面，...
逻辑表运行参数配置
逻辑表参数配置是对逻辑表中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文将指导您如何配置逻辑表参数。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。进入数据 开发 页面。在数据 开发 页面，...
配置逻辑表基本信息
您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息，包括逻辑表的表类型、业务对象、数据板块，主题域、数据时效等基本信息，同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，...
配置逻辑表基本信息
您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息，包括逻辑表的表类型、业务对象、数据板块，主题域、数据时效等基本信息，同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，...
用户属性管理
已配置的用户标签表可以通过编辑表结构配置进行映射，在下次调度导入时，属性开始获取数据。自定义用户属性 操作步骤：选择工作空间>配置管理>数据接入管理>数据导入>用户属性管理。单击右上角 新增属性。配置以下参数：参数 说明 显示名称...
配置LogicalTable输入组件
同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建逻辑表。具体操作，详情请创建 规范建模概述。进行...
配置LogicalTable输入组件
同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建逻辑表。具体操作，详情请创建 规范建模概述。进行...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置更新
当用户执行了添加数据源、新增索引表/修改索引表、新增/更新高级配置时，需要在运维管理界面进行 配置更新，再 索引重建 才会生效：1.选择需要更新的“索引结构版本”，包括对应的数据源中的索引表的版本，选择需要更新的“高级配置版本”...
配置更新
当用户执行了添加数据源、新增索引表/修改索引表、新增/更新高级配置时，需要在运维管理界面进行 配置更新，再 索引重建 才会生效：1.选择需要更新的“索引结构版本”，包括对应的数据源中的索引表的版本，选择需要更新的“高级配置版本”...
恶意行为防御自定义规则最佳实践
进程hash 告警加白规则配置：收到如下图所示的MD5误拦截告警，则加白规则配置参考下表。说明 系统通过 恶意文件md5 字段判断，拦截恶意文件MD5。配置项 说明 规则名称 建议按照误拦截告警规则命名，例如误报的挖矿程序加白。规则类型 选择 ...
修改索引表
修改索引表的操作以场景化的方式配置，主要步骤为：添加/修改索引表>配置更新>索引重建，详细配置步骤如下：1.在运维管理页面 点击修改索引表：2.修改索引结构，找到需要调整的索引表，在操作栏中点击 查看/修改：3.编辑index_config_edit...
修改索引表
修改索引表的操作以场景化的方式配置，主要步骤为：添加/修改索引表>配置更新>索引重建，详细配置步骤如下：1.在运维管理页面 点击修改索引表：2.修改索引结构，找到需要调整的索引表，在操作栏中点击 查看/修改：3.编辑index_config_edit...
使用路径分析
在 路径分析 页签，根据下表进行配置，然后单击 发起分析。说明 下表以探测ECS3的80端口为例来检测ECS1和ECS3之间的网络连通性，您可以根据您的实际网络环境选择适合的探测协议。配置项 配置项说明 源 选择路径的源。网络智能服务支持多种...
全增量实时同步至Hologres
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：选择要同步的表 步骤四：目标表映射 步骤五：报警配置 步骤六：高级参数配置 步骤七：DDL能力配置 步骤八：资源组配置 步骤九：执行同步解决方案任务 步骤一：选择同步方案 ...
数据质量概述
规则配置 数据质量支持按表配置或按模板配置质量监控规则，详情请参见：配置规则：按表（单表）、配置规则：按模板（批量）。任务查询 在任务查询页面您可以通过表或节点搜索表历史校验记录及校验详情。配置数据质量规则去噪 去噪管理功能...
路由到数据库
入库配置 快速配置 写入数据库表快速配置。仅支持简单操作。表名：输入数据库中已建立的数据表名。路由的事件内容将写入该表中。操作方式：事件内容在数据库表，根据DML语句将事件内容写入数据库表的方式。支持以下三种方式：INSERT：将...
维度和事实逻辑表物化配置
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
MySQL分库分表同步至Hologres（方案2.0）
尤其是在MySQL分库分表的场景下，上游的数据库和表非常多，都需要同时写入一张Hologres表，如果同时配置多个任务会导致配置非常复杂且运维困难。针对以上痛点，DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务配置化方案，...
Salesforce数据源
Salesforce 数据非实时同步到 Quick Audience 中的功能初始化配置操作需要在Salesforce Platform 和 Quick Audience 中共同完成。一、Salesforce端添加QA链接器 说明 需先在Salesforce中添加QA连接器之后，才能在Quick Audience中进行联通...
- 产品推荐
- 这些文档可能帮助您