从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
索引结构
features":false,"proxima.qc.builder.train_sample_count":3000000,"proxima.qc.builder.train_sample_ratio":0.5 } search_index_params的配置如下：{"proxima.qc.searcher.scan_ratio":0.01 } 说明 字段类型与数据库表字段类型的对应...
从SLS同步
字段映射 日志字段和云数据库ClickHouse表字段的映射。投递开始时间 日志写入SLS的时间。例如，选择时间为 2021-12-31 08:00，即把 2021-12-31 08:00 之后的日志数据投递到云数据库ClickHouse。是 否过滤脏数据 是否对脏数据进行过滤。建议...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
行业算法版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT 行业算法版表的字段类型与数据库表的字段类型的对应关系 行业算法版表 ...
OpenSearch-高性能检索版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT OpenSearch表的字段类型与数据库表的字段类型的对应关系 OpenSearch表 ...
推送数据
内容字段 add 所有保留字段 数据表唯一标识字段组合以及本说明文档 数据规范 定义的必填字段 update 所有保留字段 数据表唯一标识字段组合以及本说明文档 数据规范 定义的必填字段 delete 所有保留字段 数据表唯一标识字段组合 重要 add...
虚拟列
使用虚拟列功能时，您可以通过修改多元索引Schema或者新建多元索引来实现新字段新数据类型的查询功能，而无需修改表格存储的存储结构及数据。功能概述 虚拟列功能支持用户在创建多元索引的时候将表中一列映射到多元索引中的虚拟列。新的...
数据注册与字段配置
os 否 可以根据此维度字段过滤对应的指标 metric_name 指标的名称，比如 pv,uv,ctr 等 是 metric_value 指标的值 是 float64 值 dt 日期字段 是 格式：yyyyMMdd hh 小时字段 否 24小时制，00~23 mm 分钟字段 否 00~59 结果表字段基本都是...
数据表管理
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后，通过 同步字段 功能，系统会自动检测数据库中的字段变更内容，并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下：选择 知识中心>数据问答>...
创建与管理数据模型
数据模型是在数据库创建及编排的一系列的数据表，是驱动应用开发的基础，继而生成DDL语句，创建数据库表。本文为您介绍如何创建、编辑及删除数据模型。前提条件 当前账号拥有项目权限。已完成限界上下文的创建。具体操作，请参见 创建与...
通过控制台使用多元索引
如果实际业务中要用到非主键列查询、多条件组合查询等多种查询功能，您可以通过控制台为数据表创建多元索引，然后使用多元索引查询数据。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1，数据生命周期（Time to Live...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
通过Kettle导入至数仓版
在 表输出 的 数据库字段 选项卡中，单击 获取字段 和 输入字段映射，可以设置Excel中的列与 AnalyticDB MySQL版 表中列名间的映射关系。单击白色三角箭头运行转换，观察运行日志和运行状态。本地Excel数据成功同步至 AnalyticDB MySQL版 ...
示例：模型设计
说明 设置默认值不会影响代码生成和数据库DDL语句。整数数值类：Integer（整数）、Long（长整型）。可选择该字段是否为 主键、是否 必填、是否 唯一，并设置 默认值。小数数值类：Double（小数）、Decimal（高精小数）。该类型不支持作为...
子表查询
UNNEST(simple4.sub_simple4_table)WHERE field_int8>=2 子表字段过滤：SELECT field_int32,field_int32+1 as output FROM simple4,UNNEST(simple4.sub_simple4_table)WHERE field_int8>=2 AND sub_id注意 如果WHERE语句中带有子表字段的...
DataSource
类型 描述 tableName String 表名 type String 数据源类型-rds-odps-opensearch-polardb fields[]Object 表字段映射信息{key:value}，key：数据源表字段，value：应用表字段。plugins Object 字段数据处理插件 plugins.*Object 插件详情，...
DataSource
类型 描述 tableName String 表名 type String 数据源类型-rds-odps-opensearch-polardb fields[]Object 表字段映射信息{key:value}，key：数据源表字段，value：应用表字段。plugins Object 字段数据处理插件 plugins.*Object 插件详情，...
DB-IN
使用流程说明 先在“数据源管理”页定义好数据源连接信息，然后将组件拖入画布，选择相应数据源的表字段。参数说明 DB-IN算法组件的OUT端口-输入参数。参数名 描述 默认值 范围 数据源选择“数据源管理”的所有数据源都会在此列出 无 无 ...
数据建模
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
任务导出
按自定义字段导出任务数据 此方式导出可自定义设置导出的字段。点击「自定义表头字段导出所有任务」后，会出现选择字段的界面，点击「添加字段」，勾选项目内已有的想要导出数据的字段，最后点击「确定」，界面左下角会出现「已开始下载」...
增强E-R
E-R图能较好的描述业务数据中的关联关系、数据库存储表和字段之间的依赖和关联关系，并通过此关系将业务或数据库存储的逻辑关系沉淀到数据库设计中。随着业务规模的增大和数据库外键性能的降低，越来越多的系统设计采用应用系统来保障业务...
功能简介
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
查询报错问题
查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后，查询提示找不到新添加的列，具体是什么原因？表正在上线，但是上线失败或者CN副本在重启，都有可能出现 META_COLUMN_NOT_EXIST。对于普通表 一级普通表：新增字段...
功能简介
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
函数总览
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
创建单物理表服务单元
单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
配置离线数据集成节点
功能特性 不限制来源表和目标表数据库类型。支持字段映射，包含修改源表和目标表字段的命名和类型映射。可配置并发迁移数据。支持通过WHERE语句，对迁移数据进行预过滤。支持前置及后置SQL语句，在导入数据前后实现数据处理。使用限制 系统...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
操作流程
新建逻辑表 手动新建逻辑表 通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。具体操作，请参见 手动新建逻辑表。通过...
操作流程
新建逻辑表 手动新建逻辑表 通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。具体操作，请参见 手动新建逻辑表。通过...
SQL数据类型映射
SQL中所用字段对应于表中同名字段，两者的数据类型必须相匹配。本文介绍了SQL中字段数据类型、数据表中字段数据类型和多元索引中字段数据类型的映射关系。使用SQL过程中请确保SQL中和数据表中字段数据类型相匹配。重要 SQL中主键列的数据...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表 默认根据源端生成目标表结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将...
- 产品推荐
- 这些文档可能帮助您