创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
定义SQL组件
字段1名 字段1类型 字段1注释 字段2名 字段2类型 字段2注释 …… 字段n名 字段n类型 字段n注释 示例如下：area_id string‘区域id’city_id string‘城市id’order_amt double‘订单金额’String：若使用组件加工源表数据时，需通过变量...
SQL窗口介绍
SQL窗口界面介绍 表 1.SQL窗口界面介绍 序号 区域 说明 ① 可视化操作区域 可视化地管理数据库：表 可查看当前数据库中的所有表，包含表的字段、字段类型、索引。也可以右键单击目标表，快捷编辑表结构、管理表、导出数据、导入数据、批量...
通过SQL模式创建API（服务单元）
命令格式 select(<返回参数1>+<返回参数2>)as<别名>，(<返回参数2>+<返回参数3>)as<别名>from<服务单元A>where<字段c>=${请求参数名1} and<字段b>>=${请求参数名2} or<字段c>${请求参数名3} 使用示例-在服务单元A中查询当字段c=id_card，或...
扩展字段
可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型：下拉框 Select 数据类型：指定数据为字符串或数字。数据项：定义下拉框中不同选项的键值对。处于数据兼容性考虑，数据项创建完成后无法删除，只能...
端到端图搜解决方案
用户将图片通过base64编码后的图片及其表数据存储在MaxCompute中 API+OpenSearch向量检索版：用户通过OpenSearch向量检索版给出的数据推送接口，将base64编码后的图片及其表数据推送到OpenSearch向量检索版实例中 本文演示的是OSS+...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
编辑器代码提效
功能 描述 权限校验 使用Select语句查询表信息时，当鼠标悬停至表名称，若当前账号无该表或表字段的查询权限，DataWorks将提示并引导您进入 安全中心 申请表的相关权限。说明 编辑器的权限校验仅是校验当前账号对生产环境的表是否有查询...
配置Vertica输入组件
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Vertica数据源。...
配置Vertica输入组件
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Vertica数据源。...
配置OceanBase输入组件
同步OceanBase数据源的数据至其他数据源的场景中，您需要先配置OceanBase输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置OceanBase输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
配置OceanBase输入组件
同步OceanBase数据源的数据至其他数据源的场景中，您需要先配置OceanBase输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置OceanBase输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
创建隐匿信息查询任务
关键字字段：数据需求方提供查询的表中，用于碰撞的字段 数据服务方：提供数据表，供查询的一方。使用场景：支持选择 离线场景 和 在线场景。离线场景：生成预计算文件在后续离线PIR查询中速度较快。在线场景：生成的预计算文件在后续在线...
Quick BI如何设置自动用字段备注作为字段名
问题描述 数据库的建表语句已经给字段加了备注名称，希望创建数据集时，可以直接用该备注名称作为字段名 解决方案 需要修改工作空间的配置信息，个人空间与群空间配置入口不一样。要确认数据集是在哪个工作空间创建的，然后进入相应工作...
分布键Distribution Key
如下示例，有三个表相互Join，Join的字段不完全一样，这个时候选择大表的Join字段为Distribution Key，join_tbl_1 这个表数据量有一千万条，join_tbl_2 和 join_tbl_3 分别有一百万条，以 join_tbl_1 为主要优化对象。V2.1版本起支持的建表...
创建及管理内部表
类别 参数 描述 基本属性 Hologres数据库 存放新建表的数据库。表名 新建表的表名称。描述 表的相关描述。字段 添加字段 单击即可添加字段。字段名 表中每一列的标识。数据类型 字段的属性。主键 确定列的唯一标识。可空 字段可以为空值。...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA 每个实例只能有一个DBA。系统角色为DBA、管理员的用户可以编辑调整实例DBA。可查看实例上每个...
创建及管理内部表
类别 参数 描述 基本属性 Hologres数据库 存放新建表的数据库。表名 新建表的表名称。描述 表的相关描述。字段 添加字段 单击即可添加字段。字段名 表中每一列的标识。数据类型 字段的属性。主键 确定列的唯一标识。可空 字段可以为空值。...
创建外部表
DB Name Foreign Server中指定DLF Catalog下的数据库名称。目标位置 Holo Schema 默认为public，可在下拉列表中选择有权限的其他Schema。高级选项 表名冲突 创建表时，如果数据库中已存在当前创建的表名称，您可以根据需要选择如下处理方式...
MySQL分库分表同步至Hologres（方案1.0）
同时，为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表，则需要在Hologres表中添加上三个附加字段（src_datasource、src_database、src_table），标识某条记录的来源数据源实例、数据库以及表，这三个附加字段和物理表中的...
限制账号只能访问指定表、视图、字段
GRANT ALL PRIVILEGES ON `<数据库名>`.`<表名>` TO '<用户名>'@'%';GRANT SELECT ON `mysql`.`help_topic` TO '<用户名>'@'%';GRANT SELECT ON `mysql`.`func` TO '<用户名>'@'%';GRANT SELECT ON `mysql`.`time_zone` TO '<用户名>'@'%';...
管理数据表
本文为您介绍如何快速查找数据表，并查看数据表中的数据字段和数据类型等信息。查询数据表 当数据源中的数据表过多，无法快速定位到自己所需的数据表时，您可以按照以下步骤操作。登录 Quick BI控制台。按照下图指引，进入数据源管理页面。...
逻辑表查询
查询结果会额外提供一个字段表示数据来源的数据库、表信息，单击则可以跳转至对应的物理库表并带入查询SQL与查询条件信息。查询也可以不带路由字段作为条件，进行全表（所有分表）扫描查询操作，如汇总统计。说明 同时也支持 GROUP BY 等...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
批量创建质量规则
当规则模板选择 一致性/两表字段统计值一致性比较、一致性/跨源两表字段统计值一致性比较 时，可选择是否开启 对比表数据过滤，开启后可配置对比表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中。校验配置 数据...
批量创建质量规则
当规则模板选择 一致性/两表字段统计值一致性比较、一致性/跨源两表字段统计值一致性比较 时，可选择是否开启 对比表数据过滤，开启后可配置对比表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中。校验配置 数据...
结构设计
控制修改字段数据类型 控制修改索引风险 控制删除主键 控制删除索引 控制主键更改为索引 控制修改主键包含列 控制修改普通索引 控制新增索引类型 控制SQL执行风险 控制核心实例风险 控制表存储引擎 控制锁表/大表变更风险 审批规则校验 ...
Quick BI数据集报错“Column 'xxx' cannot be ...
解决方案 根据报错提示的字段名称，或者批量排查（报错信息一次只报一个字段名称），找到已经不存在的字段（可能数据库里更新了表结构，也可能修改过建数据集的SQL，导致该字段被删除，或者改了其他名字），删除该字段，然后保存后再预览...
表详情
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
ST_ImportObj
将基于对象存储或内存格式的Obj文件导入到数据库中。语法 boolean ST_ImportObj(text table_name,text url,text id,text options default '{}');boolean ST_ImportObj(text table_name,bytea content,text id,text options default '{}');...
ST_ImportObj
将基于对象存储或内存格式的Obj文件导入到数据库中。语法 boolean ST_ImportObj(text table_name,text url,text id,text options default '{}');boolean ST_ImportObj(text table_name,bytea content,text id,text options default '{}');...
同步时源库为Db2 for LUW的注意事项及限制
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
云数据库 RDS MySQL 版如何查看表的主键字段
概述 本文介绍云数据库 RDS MySQL 版查看表主键字段的方法。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改...
离线同步常见问题
读取MaxCompute（ODPS）表数据时，添加一行注意事项 读取MaxCompute（ODPS）表数据时，如何同步分区字段？读取MaxCompute（ODPS）表数据时，如何同步多个分区数据？如何处理表列名有关键字导致同步任务失败的情况？读取Loghub同步某字段有...
配置ClickHouse输入组件
阿里云数据库ClickHouse创建数据表的操作，请参见 创建表；非阿里云数据库ClickHouse创建数据表的操作，请参见 ClickHouse官方文档。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。按照下图指引，进入 ...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
数据迁移服务隐藏列机制说明
源端 目标端 参考文档 OceanBase 数据库 MySQL 租户 OceanBase 数据库 MySQL 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle 租户 OceanBase 数据库 Oracle 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle ...
- 产品推荐
- 这些文档可能帮助您