配置Vertica输入组件
切分建 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
配置OceanBase输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置OceanBase输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置ClickHouse输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时每条并发SQL语句...
扫描（Scan）查询概述
字段类型 由索引配置中的数据类型决定。更多信息，请参见 数据类型。无论字段是否已配置索引，在扫描模式下 SP语句中出现的字段均按照text类型处理。详情请参考 数据类型转换。结果集大小 通过控制台或SDK指定，最大100条。满足下述任一...
配置Oracle输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置Oracle输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
管理Schema
在Milvus中，Schema定义了向量数据库中数据的组织结构，包括字段名称和类型等。通过定义Schema来管理和查询数据，以支持高效的搜索和分析操作。本文为您介绍Collection和字段的Schema定义以及如何在Milvus中创建Schema。前提条件 已在本地...
字段标准
解决方法如下：我们可通过DataWorks数据建模创建新的字段标准，预先在模型中定义会员ID标准，然后在创建注册表和登录表时，将对应会员ID的字段引用该标准。在后期分析中可自动推荐两张表的关联关系和关联字段，极大地提升应用效率和准确性...
MySQL分库分表同步至Hologres（方案1.0）
为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表，则需要在Hologres表中添加上三个附加字段（src_datasource、src_database、src_table），标识某条记录的来源数据源实例、数据库以及表，这三个附加字段和物理表中的主键在...
多元索引
SourceFieldNames（可选）：数据表中的字段名称，类型为String。当设置IsVirtualField为true时，必须设置此参数。IndexSort 否 索引预排序设置，包含Sorters设置。如果不设置，则默认按照主键排序。重要 含有Nested类型的索引不支持...
新建行为关系
字段类型 为您展示选择的字段名称的字段类型。例如，string。值类型 为您展示选择的字段名称的值类型。例如，字符串。描述 填写主体的简单描述信息，1000个字符以内。主体属性 属性名称 填写主体的属性名称。允许中英文、数字、下划线（_）...
创建元数据
字段类型：根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果业务数据的字段类型不在上述字段类型范围内，推荐 您选择String。...
虚拟列
重要 创建虚拟列时，原始字段名必须在数据表中存在，且原始字段的数据类型必须和虚拟列的字段类型相匹配。单击 添加索引字段。输入 字段名 和 字段类型。打开字段对应 虚拟 列的开关，并输入 原始字段名。如果要配置多元索引的路由键、数据...
查询和分析JSON日志的常见问题
日志服务不支持值为JSON数组的字段建立索引，也不支持为JSON数组中的字段建立索引。例如基于本文的日志样例，您可以创建如下索引。request 字段 request 字段为JSON格式，设置为JSON类型，并开启统计功能。request.clientIp 字段需要经常...
数据集常见问题
在数据库中修改某字段类型后，如何处理数据集该字段类型没有更新的问题？如何处理重新加载被删除的数据源后，表结构同步成功但数据同步依然失败的问题？如何在数据集中添加已删除的维度或度量？MaxCompute数据源同步表结构是否有延迟？源...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
字典编码Dictionary Encoding
如果您数据表中字段的基数相对较小，使用字典编码可以提高数据的压缩率，以减少数据存储量和提高查询性能。Hologres支持对指定字段进行字典编码，本文为您介绍在Hologres中设置字典编码的命令及原理。Dictionary Encoding介绍 字典编码可以...
步骤二：编写SQL分析语句
类型 不支持的字段 系统字段名 id、gmt_create、gmt_modified、creator、modifier、is_deleted、append_column_name、append_column_value、append_column_concat、scope_id、_closure_context_。系统函数 COUNT、DATE_FORMAT、AVG、MAX、...
控制台错误日志说明
字段将补充默认值 字段类型转换场景 如果用户的数据源数据类型与schema配置类型无法进行转换则报错 73016 文档总数超过应用配额 数据写出场景 应用实际存储超配额 7523 字符串连接插件处理出错，推送失败，请检查后重试。字符串拼接插件 ...
控制台错误日志说明
字段将补充默认值 字段类型转换场景 如果用户的数据源数据类型与schema配置类型无法进行转换则报错 73016 文档总数超过应用配额 数据写出场景 应用实际存储超配额 7523 字符串连接插件处理出错，推送失败，请检查后重试。字符串拼接插件 ...
Range范围查询
在定义应用结构中对需要range查询的字段进行相关的字段类型配置。只有以下字段类型可支持range查询，请按需求进行配置。字段类型 说明 系统限制 INT int64类型整数,支持INT类型数据的范围查询。最多只能有4个字段为该类型。TIMESTAMP 大于...
索引结构
index:'开放搜索' OR body_index:'开放搜索'#组合索引-可以召回该文档 query=union_index:'开放搜索' 注意：组合索引的字段类型需要一致，不能混用（short_text+text 暂不支持）。系统自带的default索引只能包含TEXT类型字段 分析方式介绍 ...
Range范围查询
在定义应用结构中对需要range查询的字段进行相关的字段类型配置。只有以下字段类型可支持range查询，请按需求进行配置。字段类型 说明 系统限制 INT int64类型整数,支持INT类型数据的范围查询。最多只能有4个字段为该类型。TIMESTAMP 大于...
索引结构
index:'开放搜索' OR body_index:'开放搜索'#组合索引-可以召回该文档 query=union_index:'开放搜索' 注意：组合索引的字段类型需要一致，不能混用（short_text+text 暂不支持）。系统自带的default索引只能包含TEXT类型字段 分析方式介绍 ...
项目级别Information Schema
说明 导出数据时，建议显性地选择视图的字段名称，尽量避免使用 insert into select*from information_schema.*的方式导出数据，防止新增字段后导致备份失败。元数据视图列表如下。分类 视图 时效性/保留周期 延迟说明 元数据信息 TABLES ...
ORC格式
日志投递过程中，会将日志服务中的日志字段由string类型转换为ORC目标类型。如果转换到非string类型失败，则该列数据为null。OSS文件地址 投递到OSS后，OSS文件地址示例如下表所示。说明 在创建OSS投递任务时，如果您自定义了文件后缀，则...
附录：消息格式
dbType：String类型，数据库类型 dbVersion：String类型，数据库版本 dbName：String类型，数据库名 schemaName：String类型，Schema名（针对Postgres和SQL Server等）tableName：String 类型，数据表名 payload before JSONObject类型，...
租户级别Information Schema
元数据及作业历史数据仅保存在 SYSTEM_CATALOG.INFORMATION_SCHEMA 下，如果需要对历史数据进行快照备份或获得超过14天的作业历史，您可以定期将 SYSTEM_CATALOG.INFORMATION_SCHEMA 中的数据备份到指定项目。查询示例 查询元数据信息示例...
过滤条件不下推
colName2,table2.colName1]*/重要 关闭特定字段的过滤条件下推能力既支持对同一个数据库中的表使用Hint，也支持对不同数据库中的表使用Hint。当3.1.4以下版本，跨库使用Hint时，需要保证两个库中的表名不同，否则Hint可能会影响到不需要...
单据票证信息抽取
功能简介 单据票证信息抽取（固定版式）是基于深度学习的信息抽取自学习模型任务，可对版式相对固定的单据、证件、凭证等类型数据有较好的效果，支持用户自定义抽取字段，通过平台可视化引导，完成数据标注和模型训练。在图像质量较好情况...
单据票证信息抽取
功能简介 单据票证信息抽取（固定版式）是基于深度学习的信息抽取自学习模型任务，可对版式相对固定的单据、证件、凭证等类型数据有较好的效果，支持用户自定义抽取字段，通过平台可视化引导，完成数据标注和模型训练。在图像质量较好情况...
配置ClickHouse输出组件
输入字段 展示从源表中读取的字段。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：单个删除字段场景：按照下图操指引，删除单个字段。批量删除字段场景：...
长文档信息抽取
字段类型：字段属性定义，选择合适的字段类型可提升字段识别端到端效果，支持选择通用字段或用户自行添加自定义字段。无需后处理，选择常规字段类型即可。提示建议：标注任务如何上传数据：支持本地上传和从数据集中选择；若您预先将数据...
长文档信息抽取
字段类型：字段属性定义，选择合适的字段类型可提升字段识别端到端效果，支持选择通用字段或用户自行添加自定义字段。无需后处理选择常规字段类型即可。提示建议：标注任务如何上传数据：支持本地上传和从数据集中选择；若您预先将数据上传...
数据集组合
双击或拖动主数据集（订单数据）中的 订单金额 和辅助数据集（销售数据）中的 利润金额 到 值轴/度量 区域。单击 更新，系统自动更新图表。说明 使用数据集组合时，系统会向每个数据源发送查询语句，将查询后的结果以 聚合数据 的形式返回...
操作流程
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 企业数据智能平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联...
操作流程
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息...
- 产品推荐
- 这些文档可能帮助您