从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
索引结构
features":false,"proxima.qc.builder.train_sample_count":3000000,"proxima.qc.builder.train_sample_ratio":0.5 } search_index_params的配置如下：{"proxima.qc.searcher.scan_ratio":0.01 } 说明 字段类型与数据库表字段类型的对应...
从SLS同步
字段映射 日志字段和云数据库ClickHouse表字段的映射。投递开始时间 日志写入SLS的时间。例如，选择时间为 2021-12-31 08:00，即把 2021-12-31 08:00 之后的日志数据投递到云数据库ClickHouse。是 否过滤脏数据 是否对脏数据进行过滤。建议...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
行业算法版表结构
数据表字段 数据表主要为数据导入时使用，不同的数据处理插件对类型有不同的要求。具体字段取值范围，请参见 使用限制-字段相关部分说明。超过取值范围将溢出或者截断，请务必保证选择类型正确。类型 说明 INT int64整型 INT_ARRAY int64...
OpenSearch-高性能检索版表结构
数据表字段 数据表主要为数据导入时使用，不同的数据处理插件对类型有不同的要求。具体字段取值范围，请参见 使用限制-字段相关部分说明。超过取值范围将溢出或者截断，请务必保证选择类型正确。类型 说明 INT int64整型 INT_ARRAY int64...
搜索增强
数据源类型 是否为faq 解析字段 RDS MySQL/MaxCompute 是 要求数据库库表字段类型为：id、question、answer、sim_question、url、gmt_modified；否 解析字段同所选数据库库表字段，非固定可选；OSS 是 支持解析的文件格式为.csv/.xlsx；...
多轮对话搜索
数据源类型 是否为faq 解析字段 RDS MySQL/MaxCompute 是 要求数据库库表字段类型为：id、question、answer、sim_question、url、gmt_modified；否 解析字段同所选数据库库表字段，非固定可选；OSS 是 支持解析的文件格式为.csv/.xlsx；...
数据表管理
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后，通过 同步字段 功能，系统会自动检测数据库中的字段变更内容，并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下：选择 知识中心>数据问答>...
数据注册与字段配置
os 否 可以根据此维度字段过滤对应的指标 metric_name 指标的名称，比如 pv,uv,ctr 等 是 metric_value 指标的值 是 float64 值 dt 日期字段 是 格式：yyyyMMdd hh 小时字段 否 24小时制，00~23 mm 分钟字段 否 00~59 结果表字段基本都是...
虚拟列
使用虚拟列功能时，您可以通过修改多元索引Schema或者新建多元索引来实现新字段新数据类型的查询功能，而无需修改表格存储的存储结构及数据。功能概述 虚拟列功能支持用户在创建多元索引的时候将表中一列映射到多元索引中的虚拟列。新的...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
通过控制台使用多元索引
如果实际业务中要用到非主键列查询、多条件组合查询等多种查询功能，您可以通过控制台为数据表创建多元索引，然后使用多元索引查询数据。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1，数据生命周期（Time to Live...
通过Kettle导入至数仓版
在 表输出 的 数据库字段 选项卡中，单击 获取字段 和 输入字段映射，可以设置Excel中的列与 AnalyticDB MySQL版 表中列名间的映射关系。单击白色三角箭头运行转换，观察运行日志和运行状态。本地Excel数据成功同步至 AnalyticDB MySQL版 ...
DB-IN
使用流程说明 先在“数据源管理”页定义好数据源连接信息，然后将组件拖入画布，选择相应数据源的表字段。参数说明 DB-IN算法组件的OUT端口-输入参数。参数名 描述 默认值 范围 数据源选择“数据源管理”的所有数据源都会在此列出 无 无 ...
子表查询
UNNEST(simple4.sub_simple4_table)WHERE field_int8>=2 子表字段过滤：SELECT field_int32,field_int32+1 as output FROM simple4,UNNEST(simple4.sub_simple4_table)WHERE field_int8>=2 AND sub_id注意 如果WHERE语句中带有子表字段的...
质量规则模板类型
字段分组个数校验 用于对单字段数据进行去重值校验。字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较...
质量规则模板类型
字段分组个数校验 用于对单字段数据进行去重值校验。字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
查询报错问题
查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后，查询提示找不到新添加的列，具体是什么原因？表正在上线，但是上线失败或者CN副本在重启，都有可能出现 META_COLUMN_NOT_EXIST。对于普通表 一级普通表：新增字段...
增强E-R
E-R图能较好的描述业务数据中的关联关系、数据库存储表和字段之间的依赖和关联关系，并通过此关系将业务或数据库存储的逻辑关系沉淀到数据库设计中。随着业务规模的增大和数据库外键性能的降低，越来越多的系统设计采用应用系统来保障业务...
数据建模
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
任务导出
按自定义字段导出任务数据 此方式导出可自定义设置导出的字段。点击「自定义表头字段导出所有任务」后，会出现选择字段的界面，点击「添加字段」，勾选项目内已有的想要导出数据的字段，最后点击「确定」，界面左下角会出现「已开始下载」...
功能简介
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
DataSource
类型 描述 tableName String 表名 type String 数据源类型-rds-odps-opensearch-polardb fields[]Object 表字段映射信息{key:value}，key：数据源表字段，value：应用表字段。plugins Object 字段数据处理插件 plugins.*Object 插件详情，...
DataSource
类型 描述 tableName String 表名 type String 数据源类型-rds-odps-opensearch-polardb fields[]Object 表字段映射信息{key:value}，key：数据源表字段，value：应用表字段。plugins Object 字段数据处理插件 plugins.*Object 插件详情，...
功能简介
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
配置离线数据集成节点
功能特性 不限制来源表和目标表数据库类型。支持字段映射，包含修改源表和目标表字段的命名和类型映射。可配置并发迁移数据。支持通过WHERE语句，对迁移数据进行预过滤。支持前置及后置SQL语句，在导入数据前后实现数据处理。使用限制 系统...
函数总览
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了...
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
操作流程
新建逻辑表 手动新建逻辑表 通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。具体操作，请参见 手动新建逻辑表。通过...
- 产品推荐
- 这些文档可能帮助您