从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
索引结构
features":false,"proxima.qc.builder.train_sample_count":3000000,"proxima.qc.builder.train_sample_ratio":0.5 } search_index_params的配置如下：{"proxima.qc.searcher.scan_ratio":0.01 } 说明 字段类型与数据库表字段类型的对应...
从SLS同步
字段映射 日志字段和云数据库ClickHouse表字段的映射。投递开始时间 日志写入SLS的时间。例如，选择时间为 2021-12-31 08:00，即把 2021-12-31 08:00 之后的日志数据投递到云数据库ClickHouse。是 否过滤脏数据 是否对脏数据进行过滤。建议...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
行业算法版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT 行业算法版表的字段类型与数据库表的字段类型的对应关系 行业算法版表 ...
OpenSearch-高性能检索版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT OpenSearch表的字段类型与数据库表的字段类型的对应关系 OpenSearch表 ...
搜索增强
数据源类型 是否为faq 解析字段 RDS MySQL/MaxCompute 是 要求数据库库表字段类型为：id、question、answer、sim_question、url、gmt_modified；否 解析字段同所选数据库库表字段，非固定可选；OSS 是 支持解析的文件格式为.csv/.xlsx；...
多轮对话搜索
已适配数据源列表 链接 阿里云 RDS MySQL 云数据库 RDS 控制台 云数据库 RDS MySQL 版 文档 阿里云 MaxCompute MaxCompute 控制台 云原生大数据计算服务 MaxCompute 文档 阿里云 OSS 对象存储OSS 控制台 对象存储 OSS 文档 子路径/库表 ...
虚拟列
使用虚拟列功能时，您可以通过修改多元索引Schema或者新建多元索引来实现新字段新数据类型的查询功能，而无需修改表格存储的存储结构及数据。功能概述 虚拟列功能支持用户在创建多元索引的时候将表中一列映射到多元索引中的虚拟列。新的...
数据表管理
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后，通过 同步字段 功能，系统会自动检测数据库中的字段变更内容，并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下：选择 知识中心>数据问答>...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
通过控制台使用多元索引
如果实际业务中要用到非主键列查询、多条件组合查询等多种查询功能，您可以通过控制台为数据表创建多元索引，然后使用多元索引查询数据。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1，数据生命周期（Time to Live...
关联数据
管理对象组 对象是指数据库中特定表和字段的集合。对象组功能可以帮您管理数据库中表和字段的集合。如果自定义规则需要对固定的数据库对象生效，您可以通过新增对象组，直接在自定义规则中使用新增对象组。以下步骤介绍如何新增对象组。...
通过Kettle导入至数仓版
在 表输出 的 数据库字段 选项卡中，单击 获取字段 和 输入字段映射，可以设置Excel中的列与 AnalyticDB MySQL版 表中列名间的映射关系。单击白色三角箭头运行转换，观察运行日志和运行状态。本地Excel数据成功同步至 AnalyticDB MySQL版 ...
查询报错问题
查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后，查询提示找不到新添加的列，具体是什么原因？表正在上线，但是上线失败或者CN副本在重启，都有可能出现 META_COLUMN_NOT_EXIST。对于普通表 一级普通表：新增字段...
增强E-R
E-R图能较好的描述业务数据中的关联关系、数据库存储表和字段之间的依赖和关联关系，并通过此关系将业务或数据库存储的逻辑关系沉淀到数据库设计中。随着业务规模的增大和数据库外键性能的降低，越来越多的系统设计采用应用系统来保障业务...
数据集成侧同步任务能力说明
说明 支持的变量解释：DATASOURCE_NAME_SRC：源端数据源名称 DB_NAME_SRC：源端数据库名称 TABLE_NAME_SRC：源表名称 DATASOURCE_NAME_DEST：目标端数据源名称 DB_NAME_DEST：目标端数据库名称 TABLE_NAME_DEST：目标表名称 DB_NAME_SRC_...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
DB-IN
本文为您介绍数据读写的数据源组件（即DB-IN算法组件）。...参数名 描述 默认值 范围 数据源选择“数据源管理”的所有数据源都会在此列出 无 无 可用字段“数据源”的所有表字段都会在此列出 无 无 已选字段 已选字段都会在此列出 无 无
SQL数据类型映射
本文介绍了SQL中字段数据类型、数据表中字段数据类型和多元索引中字段数据类型的映射关系。使用SQL过程中请确保SQL中和数据表中字段数据类型相匹配。重要 SQL中主键列的数据类型使用VARBINARY和VARCHAR时，建议最大长度设置为1024，即使用...
函数总览
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了...
资源函数
primary_keys String/List 否 主键，配置该字段后，将数据库表中的数据以 Key：Value 字典形式保存到内存中，其中Key为此处设置的 primary_keys 参数的值，Value为拉取到的数据库表的整行数据。说明 当数据库表中的数据量较大时，推荐使用...
数据建模
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建逻辑表字段时通过关联数据元自动生成质量规则的功能。一致性：支持当前...
操作流程
物理化逻辑表 通过物理化的方式，将 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
操作流程
物理化逻辑表 通过物理化的方式，将 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置质量...
功能简介
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。表关系配置：支持建立多个表之间的关联关系，并提供关联关系编辑功能。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建...
功能简介
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。表关系配置：支持建立多个表之间的关联关系，并提供关联关系编辑功能。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建...
新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
管理明细及汇总表任务字段
本文为您介绍明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）字段支持的运维操作。字段以及批量操作 页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 明细及汇总表 任务字段管理...
API概览
本产品（数据湖构建/2020-...ListDatabases 获取元数据库列表 获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。...
管理明细及汇总表任务字段
本文为您介绍明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）字段支持的运维操作。字段以及批量操作 页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 明细及汇总表 任务字段管理...
新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
创建单物理表服务单元
单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目...
新建普通维度逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。④ 字段列表...
新建普通维度逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可以根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。ArgoDB、...
新建事实逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。③ 字段列表...
新建事实逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。ArgoDB、...
- 产品推荐
- 这些文档可能帮助您