说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时,如果RDS MySQL数据库表字段存在多个相同的值(例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配,...
features":false,"proxima.qc.builder.train_sample_count":3000000,"proxima.qc.builder.train_sample_ratio":0.5 } search_index_params的配置如下:{"proxima.qc.searcher.scan_ratio":0.01 } 说明 字段类型与数据库表字段类型的对应...
字段映射 日志字段和云数据库ClickHouse表字段的映射。投递开始时间 日志写入SLS的时间。例如,选择时间为 2021-12-31 08:00,即把 2021-12-31 08:00 之后的日志数据投递到云数据库ClickHouse。是 否过滤脏数据 是否对脏数据进行过滤。建议...
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键(PRIMARY KEY)字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时,MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
数据表字段 数据表主要为数据导入时使用,不同的数据处理插件对类型有不同的要求。具体字段取值范围,请参见 使用限制-字段相关部分说明。超过取值范围将溢出或者截断,请务必保证选择类型正确。类型 说明 INT int64整型 INT_ARRAY int64...
数据表字段 数据表主要为数据导入时使用,不同的数据处理插件对类型有不同的要求。具体字段取值范围,请参见 使用限制-字段相关部分说明。超过取值范围将溢出或者截断,请务必保证选择类型正确。类型 说明 INT int64整型 INT_ARRAY int64...
数据源类型 是否为faq 解析字段 RDS MySQL/MaxCompute 是 要求数据库库表字段类型为:id、question、answer、sim_question、url、gmt_modified;否 解析字段同所选数据库库表字段,非固定可选;OSS 是 支持解析的文件格式为.csv/.xlsx;...
数据源类型 是否为faq 解析字段 RDS MySQL/MaxCompute 是 要求数据库库表字段类型为:id、question、answer、sim_question、url、gmt_modified;否 解析字段同所选数据库库表字段,非固定可选;OSS 是 支持解析的文件格式为.csv/.xlsx;...
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后,通过 同步字段 功能,系统会自动检测数据库中的字段变更内容,并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下:选择 知识中心>数据问答>...
os 否 可以根据此维度字段过滤对应的指标 metric_name 指标的名称,比如 pv,uv,ctr 等 是 metric_value 指标的值 是 float64 值 dt 日期字段 是 格式:yyyyMMdd hh 小时字段 否 24小时制,00~23 mm 分钟字段 否 00~59 结果表字段基本都是...
数据表字段类型与多元索引字段类型的对应关系请参见 数据类型映射。创建虚拟列。重要 创建虚拟列时,原始字段名必须在数据表中存在,且原始字段的数据类型必须和虚拟列的字段类型相匹配。单击 添加索引字段。输入 字段名 和 字段类型。打开...
左边文本框为日志字段名称,右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145,投递到AnalyticDB MySQL后,投递结果为2022-01-05 10:12:13。投递开始时间 配置...
数据表字段类型与多元索引字段类型的对应关系请参见 数据类型映射。当设置 Schema生成方式 为 手动录入 时,手动输入字段名,选择字段类型以及设置是否开启数组。当设置 Schema生成方式 为 自动生成 时,系统会自动将数据表的主键列和属性...
在 表输出 的 数据库字段 选项卡中,单击 获取字段 和 输入字段映射,可以设置Excel中的列与 AnalyticDB MySQL版 表中列名间的映射关系。单击白色三角箭头运行转换,观察运行日志和运行状态。本地Excel数据成功同步至 AnalyticDB MySQL版 ...
UNNEST(simple4.sub_simple4_table)WHERE field_int8>=2 子表字段过滤:SELECT field_int32,field_int32+1 as output FROM simple4,UNNEST(simple4.sub_simple4_table)WHERE field_int8>=2 AND sub_id注意 如果WHERE语句中带有子表字段的...
本文为您介绍数据读写的数据源组件(即DB-IN算法组件)。...参数名 描述 默认值 范围 数据源选择“数据源管理”的所有数据源都会在此列出 无 无 可用字段“数据源”的所有表字段都会在此列出 无 无 已选字段 已选字段都会在此列出 无 无
单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比,如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确进行校验。两表字段值一致性比较 用于对不同表两个字段原值进行数据的对比...
单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比,如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确进行校验。两表字段值一致性比较 用于对不同表两个字段原值进行数据的对比...
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中,以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后,查询提示找不到新添加的列,具体是什么原因?表正在上线,但是上线失败或者CN副本在重启,都有可能出现 META_COLUMN_NOT_EXIST。对于普通表 一级普通表:新增字段...
随着业务规模的增大和数据库外键性能的降低,越来越多的系统设计采用应用系统来保障业务之间的依赖关系,导致数据库的外键信息并不会真正的沉淀到数据库外键设计上,不易通过实际数据库的外键信息看到业务数据表中的逻辑关系,进而影响您...
新建逻辑表:支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息,提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描:支持将云计算资源的已有物理表...
按自定义字段导出任务数据 此方式导出可自定义设置导出的字段。点击「自定义表头字段导出所有任务」后,会出现选择字段的界面,点击「添加字段」,勾选项目内已有的想要导出数据的字段,最后点击「确定」,界面左下角会出现「已开始下载」...
新建逻辑表:支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息,提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描:支持将云计算资源的已有物理表...
类型 描述 tableName String 表名 type String 数据源类型-rds-odps-opensearch-polardb fields[]Object 表字段映射信息{key:value},key:数据源表字段,value:应用表字段。plugins Object 字段数据处理插件 plugins.*Object 插件详情,...
类型 描述 tableName String 表名 type String 数据源类型-rds-odps-opensearch-polardb fields[]Object 表字段映射信息{key:value},key:数据源表字段,value:应用表字段。plugins Object 字段数据处理插件 plugins.*Object 插件详情,...
新建逻辑表:支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息,提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描:支持将云计算资源的已有物理表...
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三:预览镜像关系 在镜像表开发页面,页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板,查看实时表、离...
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三:预览镜像关系 在镜像表开发页面,页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板,查看实时表、离...
OpenSearch中的数据,既支持通过API/SDK/上传界面的方式导入,也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据,可以参照API手册直接上传,不支持本文中的插件配置。如果选择同步云端数据的方式,则需要将数据源的...
逻辑表的下游对象,指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口,进入 规范建模 页面。按照下图操作指引,选择您需查看及管理下游对象的逻辑表,...
逻辑表的下游对象,指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口,进入 规范建模 页面。按照下图操作指引,选择您需查看及管理下游对象的逻辑表,...
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下:表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制:表JOIN:仅支持两个表之间做JOIN操作。字段计算器 和 表...
本产品(数据湖构建/2020-...ListDatabases 获取元数据库列表 获取数据湖元数据库列表,分页查询,可以根据数据库名称匹配。表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。...
OpenSearch中的数据,既支持通过API/SDK/上传界面的方式导入,也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据,可以参照API手册直接上传,不支持本文中的插件配置。如果选择同步云端数据的方式,则需要将数据源的...
功能特性 不限制来源表和目标表数据库类型。支持字段映射,包含修改源表和目标表字段的命名和类型映射。可配置并发迁移数据。支持通过WHERE语句,对迁移数据进行预过滤。支持前置及后置SQL语句,在导入数据前后实现数据处理。使用限制 系统...
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作,不满足条件则不进行对应操作,直接进行下一个条件判断。对于某一条日志,如果其中某一操作删除了...
数据类型 选择表字段数据类型。支持类型如下:常用:string、bigint、double、datetime、timestamp、decimal。文本:varchar、char。数值:int、smaIlint、tinyint、float。时间:date。MaxCompute计算引擎支持datetime。其他:boolean、...
数据类型 选择表字段数据类型。支持类型如下:常用:string、bigint、double、datetime、timestamp、decimal。文本:varchar、char。数值:int、smaIlint、tinyint、float。时间:date。MaxCompute计算引擎支持datetime。说明 Hadoop计算...
新建逻辑表 手动新建逻辑表 通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息,提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。具体操作,请参见 手动新建逻辑表。通过...