数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
从SLS同步
字段映射 日志字段和云数据库ClickHouse表字段的映射。投递开始时间 日志写入SLS的时间。例如，选择时间为 2021-12-31 08:00，即把 2021-12-31 08:00 之后的日志数据投递到云数据库ClickHouse。是 否过滤脏数据 是否对脏数据进行过滤。建议...
Dataphin如何给已经建好的表加字段注释
概述 本文主要介绍如何在Dataphin给已经建好的表加字段注释。详细信息 使用如下语句给已有的表字段加注释。alter table<table_name>change column<col_name>comment '<col_comment>';查看表的结构：desc table;使用语句给表 table2的col1...
元数据仓库共享模型（MaxCompute）
表名称 表中文名称 data_share_finish 基础共享模型通信表 data_security_finish 数据安全模块共享模型通信表 data_service_finish 数据服务模块共享模型通信表 data_quality_finish 数据质量模块共享模型通信表 data_standard_finish 数据...
元数据仓库共享模型（Hadoop）
表名称 表中文名称 data_share_finish 基础共享模型通信表 data_security_finish 数据安全模块共享模型通信表 data_service_finish 数据服务模块共享模型通信表 data_quality_finish 数据质量模块共享模型通信表 data_standard_finish 数据...
注释Comment
给外部表增加注释 COMMENT ON FOREIGN TABLE foreign_table IS ' comments on my foreign table';通过系统表查看注释 可以通过系统表查看为表、列设置的注释，命令示例如下。SELECT a.attname as Column,pg_catalog.format_type(a.atttypid...
多轮对话搜索
已适配数据源列表 链接 阿里云 RDS MySQL 云数据库 RDS 控制台 云数据库 RDS MySQL 版 文档 阿里云 MaxCompute MaxCompute 控制台 云原生大数据计算服务 MaxCompute 文档 阿里云 OSS 对象存储OSS 控制台 对象存储 OSS 文档 子路径/库表 ...
数据表管理
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后，通过 同步字段 功能，系统会自动检测数据库中的字段变更内容，并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下：选择 知识中心>数据问答>...
Quick BI数据集已经配置了字段描述，工作空间的偏好...
问题描述 Quick BI数据集已经配置了字段描述，工作空间的偏好设置已设置使用字段注释作为维度、度量名称，但是使用数据集时字段名称依然显示的不是注释怎么解决。问题原因 这个偏好设置是针对的创建数据集这个时刻，用备注还是物理字段。...
Quick BI数据集如何展示新增的字段
解决方案 原表里增加了字段，已创建数据集不需要重新做，只需要把新增字段添加进来即可：进入数据集编辑页面，点击左上方表名称 在右侧弹出的字段列表中，勾选需要新增的字段即可（您也可以取消勾选不需要展示的字段，灰色的是已经有计算...
虚拟列
使用虚拟列功能时，您可以通过修改多元索引Schema或者新建多元索引来实现新字段新数据类型的查询功能，而无需修改表格存储的存储结构及数据。功能概述 虚拟列功能支持用户在创建多元索引的时候将表中一列映射到多元索引中的虚拟列。新的...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
通过控制台使用多元索引
如果实际业务中要用到非主键列查询、多条件组合查询等多种查询功能，您可以通过控制台为数据表创建多元索引，然后使用多元索引查询数据。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1，数据生命周期（Time to Live...
推送数据
内容字段 add 所有保留字段 数据表唯一标识字段组合以及本说明文档 数据规范 定义的必填字段 update 所有保留字段 数据表唯一标识字段组合以及本说明文档 数据规范 定义的必填字段 delete 所有保留字段 数据表唯一标识字段组合 重要 add...
增强E-R
E-R图能较好的描述业务数据中的关联关系、数据库存储表和字段之间的依赖和关联关系，并通过此关系将业务或数据库存储的逻辑关系沉淀到数据库设计中。随着业务规模的增大和数据库外键性能的降低，越来越多的系统设计采用应用系统来保障业务...
查询报错问题
查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后，查询提示找不到新添加的列，具体是什么原因？表正在上线，但是上线失败或者CN副本在重启，都有可能出现 META_COLUMN_NOT_EXIST。对于普通表 一级普通表：新增字段...
子表查询
UNNEST(simple4.sub_simple4_table)WHERE field_int8>=2 子表字段过滤：SELECT field_int32,field_int32+1 as output FROM simple4,UNNEST(simple4.sub_simple4_table)WHERE field_int8>=2 AND sub_id注意 如果WHERE语句中带有子表字段的...
DataSource
类型 描述 tableName String 表名 type String 数据源类型-rds-odps-opensearch-polardb fields[]Object 表字段映射信息{key:value}，key：数据源表字段，value：应用表字段。plugins Object 字段数据处理插件 plugins.*Object 插件详情，...
DataSource
类型 描述 tableName String 表名 type String 数据源类型-rds-odps-opensearch-polardb fields[]Object 表字段映射信息{key:value}，key：数据源表字段，value：应用表字段。plugins Object 字段数据处理插件 plugins.*Object 插件详情，...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
行业算法版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT 行业算法版表的字段类型与数据库表的字段类型的对应关系 行业算法版表 ...
DB-IN
使用流程说明 先在“数据源管理”页定义好数据源连接信息，然后将组件拖入画布，选择相应数据源的表字段。参数说明 DB-IN算法组件的OUT端口-输入参数。参数名 描述 默认值 范围 数据源选择“数据源管理”的所有数据源都会在此列出 无 无 ...
OpenSearch-高性能检索版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT OpenSearch表的字段类型与数据库表的字段类型的对应关系 OpenSearch表 ...
数据建模
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
任务导出
同时，在设置导出字段的时候，也可以直接拖动调整字段的排序，排序和导出的表头字段对应。二、项目任务导出 在项目中点击任务面板右上角的三个点，即可看到「导出任务」的操作按钮，支持三种导出方式。自定义表头字段导出当前筛选条件下的...
功能简介
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
函数总览
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了...
功能简介
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
创建单物理表服务单元
单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
- 产品推荐
- 这些文档可能帮助您