配置数据质量监控
2、配置监控规则 表ods_raw_log_d用于接收从OSS同步过来的网站访问记录，为用户画像分析场景源头表，所以为避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表该分区写入数据。当监控到ods_...
配置示例：MaxCompute
在左侧导航栏，单击 规则管理>按表配置。选择 引擎/数据源 为 MaxCompute，显示当前数据源下所有的表。您也可以输入目标表名（支持表名首字母模糊搜索），查找对应的表。单击相应表后的 配置监控规则。配置分区表达式 数据质量通过分区表达...
数据质量风险监控
在 数据质量 页面的左侧导航栏，选择 规则管理>按表配置，在 规则配置-按表配置 页面找到表ods_user_trace_log，单击 操作 列的 配置监控规则。添加分区。单击+，选择 分区表达式 为 dt=$[yyyymmdd-1]，对应表ods_user_trace_log的分区格式...
步骤三：配置节点运行配置
完成输入和输出参数配置后，单击 手动设置血缘 开关，在 血缘配置 对话框中，单击输出表待配置的目标字段后的 图标，下拉选择对应的一个或者多个输入表以及输入表的字段。说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配...
步骤三：配置节点运行配置
完成输入和输出参数配置后，单击 手动设置血缘 开关，在 血缘配置 对话框中，单击输出表待配置的目标字段后的 图标，下拉选择对应的一个或者多个输入表以及输入表的字段。说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配...
创建元数据
参数 描述 数据表配置 物理数据表 选择 HBase 0.9.4/1.1.x/2.x 的数据源类型、数据源和需要创建元数据的数据表。Rowkey 配置 在读写HBase的数据时，需要通过RowKey字段查询到数据所在的Region及Region下的MemStore和HFile。分隔符 基于业务...
多网段互通配置建议及常见问题
推荐配置如下：在阿里云侧配置IPsec连接时，IPsec连接的 路由模式 使用 感兴趣流模式，IPsec连接 本端网段 配置为VPC下的聚合网段10.1.0.0/16，对端网段 配置为本地数据中心下的聚合网段192.168.0.0/16。具体操作，请参见 创建IPsec连接。...
数据问答干预
入口：进入有关机器人空间后，选择 表格管理>数据表管理 后，单击有关表格右侧 高级配置 按钮，即可进入有关表格问答配置界面。反问顺序配置 作用：当用户问题比较宽泛，对应查到了较多数据，全量展示出来用户无法很好地获取自己想要的信息...
配置数据质量监控
2、配置监控规则 表ods_raw_log_d用于接收从OSS同步过来的网站访问记录，为用户画像分析场景源头表，所以为避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表该分区写入数据。当监控到ods_...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
数据质量规则配置流程
规则配置流程 您可基于表配置单个表的数据质量监控规则，也可基于模板，批量配置多个表的数据质量监控规则，具体如下。基于表配置数据质量监控规则（单个配置监控规则）具体配置操作，详情请参见 配置规则：按表（单表）。基于模板配置数据...
单元格填报
配置字段映射：选择已有表或新建表之后，您可以配置填报字段和底表的对应关系。选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 ...
时序表操作
为时序表配置数据生命周期，系统会自动异步清理超过TTL的时序数据。更多信息，请参见 时序数据生命周期。为时序表创建默认分析存储或者创建自定义分析存储。使用分析存储功能，您可以低成本存储时序数据以及快速查询和分析时序数据。说明 ...
表格填报
配置字段映射：选择已有表或新建表之后，您可以配置填报字段和底表的对应关系。选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 ...
索引表配置
索引表配置介绍 索引表配置是向量检索版中最重要的一个配置，它描述了原始文档的数据格式，并基于这些数据如何构建索引。这些索引包括倒排索引、正排索引、摘要索引。 索引表配置 配置概览 {"table_name":"sample","fields":[],...
索引表配置
索引表配置介绍 索引表配置是召回引擎版中最重要的一个配置，它描述了原始文档的数据格式，并基于这些数据如何构建索引。这些索引包括倒排索引、正排索引、摘要索引。 索引表配置 配置概览 {"table_name":"sample","fields":[],...
小表广播
业务中存在一些配置表，存储重要的配置，读多写少。在实际业务查询中，很多业务表会和配置表进行联合数据查询。但在数据库水平拆分后，配置表是无法拆分的。因此，数据访问代理提供了小表广播功能，支持配置表同步至目标数据库的所有分库。...
LogHub（SLS）实时ETL同步至Hologres
您可根据需要选择分区列（分区表会使用每一个分区值创建一个物理子表，一般情况下不需要选择分区字段），根据需要调整建表属性，单击 保存 按钮即可保存建表配置。说明 Hologres表必须有主键，否则无法保存配置。配置字段映射。保存 建表...
索引结构
说明 有关索引表配置的详细介绍的文章可参考 索引表配置。索引schema示例：{"summarys":{"summary_fields":["pk","embedding","cate_id"],"parameter":{"file_compressor":"zstd"} },"indexs":[{"index_name":"id","index_type":...
索引结构
说明 有关索引表配置的详细介绍的文章可参考 索引表配置。索引schema示例：{"file_compress":[{"name":"file_compressor","type":"zstd"},{"name":"no_compressor","type":""}],"table_name":"test","summarys":{"summary_fields":["id",...
数据集成服务
在 新增OTS数据源 对话框，根据下表配置数据源参数。参数 说明 数据源名称 数据源名称必须以字母、数字、下划线（_）组合，且不能以数字和下划线（_）开头。数据源描述 对数据源进行简单描述，不得超过80个字符。Endpoint Tablestore实例的...
库表列映射
重要 您可以重复执行步骤i和步骤ii为不同的表配置不同的规则。单击 预览，查看设置的规则是否符合预期。在 部分预览 页签中，单击 目标库 区域框中数据库名称后面的，然后单击 列名修改及条件过滤。根据需求为列名配置映射规则，配置完成后...
创建并使用MaxCompute表
配置表基本信息 按上述步骤创建表后，将进入表编辑页面。在该页面，DataWorks支持使用DDL及可视化两种方式配置表信息，具体如下：使用DDL模式配置表 您可单击表编辑页面中的 图标，通过 MaxCompute标准的建表语句 生成MaxCompute表结构。...
配置规则：按模板（批量）
还支持您按表配置数据质量规则，详情请参见 配置规则：按表（单表）。使用限制 按模板配置目前支持配置EMR（E-MapReduce）、Hologres、AnalyticDB for PostgreSQL、MaxCompute数据源的监控规则。进入按模板配置监控规则页面 登录 DataWorks...
配置ArgoDB输出组件
在 ArgoDB输出配置 对话框，按照下表配置参数。参数 说明 步骤名称 命名规则如下：仅支持中文、字母、数字及下划线（_）。最多输入 64 个字符。数据源 选择Dataphin已配置的ArgoDB数据源。同时您可以单击 数据源 后的 新建，进入规划模块...
配置DM（达梦）输出组件
在 达梦输出配置 对话框，按照下表配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。数据源 选择数据源。选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 ...
配置DM（达梦）输出组件
在 达梦输出配置 对话框，按照下表配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。数据源 选择数据源。选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 ...
配置参数说明
完成输入和输出参数配置后，单击 手动设置血缘 开关，在 血缘配置 对话框中，单击输出表待配置的目标字段后的 图标，下拉选择对应的一个或者多个输入表以及输入表的字段。说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配...
批量上传质量规则
支持通过Excel批量上传质量规则，帮助您为多个数据表配置质量规则，提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用说明 Dataphin数据表和全域...
批量上传质量规则
支持通过Excel批量上传质量规则，帮助您为多个数据表配置质量规则，提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用说明 Dataphin数据表和全域...
配置FeatureStore项目
写入方式 使用离线表：使用一个已经存储在离线数据源中的特征表的表结构，作为离线特征视图的表结构 选择此种方式后，您还需根据界面选择参考使用的离线表所在的数据源及表名称，并配置视图字段属性。自定义表结构：自定义本次新建离线视图...
创建EMR表
在 新建表 对话框中，配置表所在的引擎实例、路径等信息。单击 新建，进入表编辑页面。在 基本属性 区域，配置各项参数。名称 描述 一级主题 新建表所处的一级目标文件夹名称。说明 一级、二级主题仅仅是DataWorks上文件夹的摆放形式，目的...
数据治理
配置使用按表配置，详细操作步骤请参见 配置规则：按表（单表），以下为配置要点。配置分区表达式 ds=$[yyyymmdd-1]。创建规则。参数 规则（表行数不为0）规则（业务主键唯一）规则名称 表行数不为0 业务主键唯一 强弱 强 强 动态阈值 否 ...
通用批量导入服务
partition：非分区表为空，分区表配置分区信息。numPartitions：读取时的并发度。如果源数据源为HDFS数据源，CSV文件的读插件配置说明如下：filePath：CSV文件的所在目录。header：CSV文件是否包含header行。delimite：CSV文件分隔符。...
表格问答
AliyunOpenSearchReadOnlyAccess：也可以单独给某个实例进行权限设置，详情可参考 RAM（子账号）的创建及授权 购买实例 购买实例可参考 购买智能问答版实例 配置实例 实例购买完成后，等待实例状态“正常”后，即可进行配置：配置自定义表：...
导出全量数据到OSS
在 新增OTS数据源 对话框，根据下表配置数据源参数。参数 说明 数据源名称 数据源名称必须以字母、数字、下划线（_）组合，且不能以数字和下划线（_）开头。数据源描述 对数据源进行简单描述，不得超过80个字符。Endpoint Tablestore实例的...
通过整库迁移配置集成任务
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建整库迁移 页面。在 新建...
导出全量数据到MaxCompute
在 新增OTS数据源 对话框，根据下表配置数据源参数。参数 说明 数据源名称 数据源名称必须以字母、数字、下划线（_）组合，且不能以数字和下划线（_）开头。数据源描述 对数据源进行简单描述，不得超过80个字符。Endpoint Tablestore实例的...
任务编排之电商打标
构建配置表consumption_records的数据，配置如下：操作步骤 创建配置表、业务表和消费券发放表，并写入数据。具体操作请参见 环境准备。新增任务流。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>任务编排。...
配置转换组件
配置表JOIN 进入ETL任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据集成>流式ETL。说明 您也可以在DTS控制台的 ETL 页面，单击 去DMS创建流式ETL。单击左上角的，在 新增数据流 ...
- 产品推荐
- 这些文档可能帮助您