混淆矩阵
在画布中单击 读数据表-1 组件，在右侧 表选择 页签，配置 表名 为test_data。在画布中单击 混淆矩阵-1 组件，在右侧配置如下表中的参数，其余参数使用默认值。参数 描述 原数据的标签列列名 选择 label 列。预测结果的标签列列名 输入 ...
功能更新动态（2024年）
配置FTP输出组件 配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 离线研发 支持基于MySQL、Oracle数据源的数据库SQL任务调度和即席查询。...
文档更新动态（2024年）
更新说明 配置FTP输出组件 配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 数据开发-编码研发-离线任务开发 支持基于MySQL、Oracle数据源的...
配置Quick引擎
配置表字段：分别为 customer 和 product_name 全局缓存配置 高级版和专业版的组织管理员支持配置全局缓存策略。新组织默认关闭全局缓存。您可以按照图示方式进入全局缓存配置。当选择 开启 全局缓存（①）后，您可以设置 相同查询直接返回...
新建普通维度逻辑表
运行配置 您可根据业务场景为该维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见 逻辑表运行配置 单击 保存并提交。步骤五：...
新建普通维度逻辑表
运行配置 您可根据业务场景为该维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见 逻辑表运行配置 单击 保存并提交。步骤五：...
我是数采实施商
前面的例子中，点位表的样例如下：MODBUS点位接入流程 该章节包含以下内容 MODBUS的excel模板表配置说明 MODBUS的excel设备表配置说明 MODBUS的excel点位表配置说明 如何接入模板设备 如何接入散点设备 异常点位排查方法 模板表配置说明 ...
表结构配置管理
选择工作空间>配置管理>数据接入管理>数据导入>表结构配置，已配置的数据表列表如下图所示。表结构配置列表支持查看、编辑、查看调度任务、移除，但通过API导入的表结构配置（创建者是API同步）不支持编辑、移除。查看表结构配置 单击 查看...
一键MaxCompute数据同步节点
背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要先在Hologres中创建外部表，该外部表可视为MaxCompute源表（即需要同步的MaxCompute数据所在的表）与Hologres内部表的链接，通过该连接将MaxCompute源表数据同步至...
更新时序表
使用UpdateTimeseriesTable，您可以更新时序表的配置信息或时间线表的配置信息，例如数据生命周期（Time To Live，简称TTL）配置。前提条件 已创建时序表。具体操作，请参见 创建时序表。已初始化TimeseriesClient。具体操作，请参见 初始...
新增逻辑表质量规则
背景信息 如果逻辑表字段配置了 关联字段标准 的值，则在质量规则页面，Lindorm、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL和 PolarDB for PostgreSQL 云计算资源类型下，系统会自动生成字段规则并同步显示在质量规则管理页面。...
新增逻辑表质量规则
背景信息 如果逻辑表字段配置了 关联字段标准 的值，则在质量规则页面，Lindorm、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL和 PolarDB for PostgreSQL 云计算资源类型下，系统会自动生成字段规则并同步显示在质量规则管理页面。...
数据集填报
配置字段映射：选择已有表或新建表之后，您可以配置填报字段和底表的对应关系。选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 ...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
逻辑表配置概述
调度配置 您可以通过配置逻辑表的调度配置，配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及...
逻辑表配置概述
配置逻辑表调度属性 您可以通过配置逻辑表的调度配置，配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化...
离线同步常见问题
以MySQL Reader插件切分键配置为例：推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前splitPk仅支持整型数据切分，不支持字符串、浮点和日期等其他类型。如果指定其他非支持类型，...
时序表操作
配置项 是否必填 示例值 说明-m，-model 是 timeseries 创建的表类型。取值范围如下：widecolumn（默认）：数据表。timeseries：时序表。t，-table 是 mytable 时序表名称。ttl 否 864000 时序表的数据存活时间。默认值为-1，表示数据永不...
MLLabelParam
xxx settings object[]标签表的配置 mode string 配置的模式 builtin type string 配置的任务类型 Trace.RCA config string 配置的具体信息""version string 配置的版本号 0.01 createTime long 创建时间 1695090077 lastModifyTime long ...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
文档更新动态（2023年）
新增说明 数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看及管理资产专题 资产全景及目录-数据探查（需开通质量模块才可使用该功能）新增数据探查功能，支持针对物理表、物理视图、逻辑表配置自动探查和手动探查任务...
二级索引
命令格式 use-wc-t配置项说明请参见下表，配置项 是否必填 示例值 说明-wc 否 不涉及 表示操作的表为数据表或者索引表。t，-table 是 index0 索引表名称。示例 使用索引表index0。use-t index0 查看二级索引信息 查看数据表的信息。您也...
Kafka增量数据同步至MaxCompute
本实践将Kafka数据增量同步至MaxCompute，数据去向为MaxCompute表，配置要点如下所示。配置项 配置要点 数据源 选择上述新建的MaxCompute数据源或DataWorks工作空间绑定MaxCompute引擎后自动生成的数据源。表 选择数据写入的MaxCompute表。...
Kafka增量数据同步至MaxCompute
本实践将Kafka数据增量同步至MaxCompute，数据去向为MaxCompute表，配置要点如下所示。配置项 配置要点 数据源 选择上述新建的MaxCompute数据源或DataWorks工作空间绑定MaxCompute引擎后自动生成的数据源。表 选择数据写入的MaxCompute表。...
数据上传
参数 描述 预览数据并设置目标表字段（上传数据至已有表）需配置数据所在文件的列与目标表字段的映射关系，配置后相关数据才可被成功上传。映射方式包括 按列名映射 及 按顺序映射。映射后您也可自定义目标表的字段名称。说明 若待上传数据...
定义SQL组件
防止配置的输入表和组件定义的输入表字段个数不一致、字段类型不兼容，导致组件运行时出错。说明 该定义仅为参考，为您提供输出参数配置的帮助指示，并不会即时强制检查。参数定义的格式建议为：字段1名 字段1类型 字段1注释 字段2名 字段2...
逻辑表运行参数配置
逻辑表参数配置是对逻辑表中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文将指导您如何配置逻辑表参数。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。进入数据 开发 页面。在数据 开发 页面，...
逻辑表运行参数配置
逻辑表参数配置是对逻辑表中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文将指导您如何配置逻辑表参数。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。进入数据 开发 页面。在数据 开发 页面，...
配置逻辑表基本信息
您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息，包括逻辑表的表类型、业务对象、数据板块，主题域、数据时效等基本信息，同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，...
配置逻辑表基本信息
您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息，包括逻辑表的表类型、业务对象、数据板块，主题域、数据时效等基本信息，同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，...
用户属性管理
已配置的用户标签表可以通过编辑表结构配置进行映射，在下次调度导入时，属性开始获取数据。自定义用户属性 操作步骤：选择工作空间>配置管理>数据接入管理>数据导入>用户属性管理。单击右上角 新增属性。配置以下参数：参数 说明 显示名称...
配置LogicalTable输入组件
LogicalTable输入组件用于读取Dataphin中逻辑表（事实逻辑表、维度逻辑表、汇总逻辑表）中的数据。同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
配置LogicalTable输入组件
LogicalTable输入组件用于读取Dataphin中逻辑表（事实逻辑表、维度逻辑表、汇总逻辑表）中的数据。同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置更新
当用户执行了添加数据源、新增索引表/修改索引表、新增/更新高级配置时，需要在运维管理界面进行 配置更新，再 索引重建 才会生效：1.选择需要更新的“索引结构版本”，包括对应的数据源中的索引表的版本，选择需要更新的“高级配置版本”...
配置更新
当用户执行了添加数据源、新增索引表/修改索引表、新增/更新高级配置时，需要在运维管理界面进行 配置更新，再 索引重建 才会生效：1.选择需要更新的“索引结构版本”，包括对应的数据源中的索引表的版本，选择需要更新的“高级配置版本”...
功能更新动态（2023年）
数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看及管理资产专题 数据探查 新增数据探查功能（需开通质量模块才可使用该功能），支持针对物理表、物理视图、逻辑表配置自动探查和手动探查任务。支持配置探查数据范围...
功能简介
提供全量任务自动建表、同名字段自动映射、任务调度配置功能。支持对离线任务实例的运行属性和运行日志进行监看。支持对非增量离线同步实例进行实例重跑。实时数据同步 支持目标端为DataHub的单表实时任务的新建。支持Oracle CDC、MySQL ...
- 产品推荐
- 这些文档可能帮助您