无感集成（Zero-ETL）
password*配置目标库信息：目标库信息 说明 示例值 数据库类型 当前目标库仅支持 云原生数据仓库 AnalyticDB PostgreSQL 版。云原生数据仓库 AnalyticDB PostgreSQL 版 接入方式 仅支持云实例接入。云实例 实例地区 云原生数据仓库 ...
SELECT
SELECT&WHERE clause SELECT DISTINCT 在查询结果中去除重复的行数据。SELECT DISTINCT Group Aggregation 根据聚合规则对多条记录进行聚合计算后输出。Group Aggregation Joins 关联两张表进行数据关联查询。Joins ORDER BY 将返回结果...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
功能概述
实现原理 分析型数据库MySQL版的向量分析旨在帮助您实现非结构化数据的近似检索和分析，其实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。...
概述
文件去重，通过文件指纹特征来去除重复文件。优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里...
环境函数
在大多数平台上，生成的标识符由主机标识符、调用函数的进程或线程标识符，以及该进程或线程的不重复值组成。语法 SYS_GUID()返回类型 返回十六进制表示形式的长度为32个字符的字符串。示例 SELECT sys_guid()FROM DUAL;sys_guid-\xc774458...
创建数据库
不能和已有的数据库名称重复。不支持特殊字符test。支持字符集 可以选择的字符集为 utf8、gbk、latin1 或 utf8mb4。授权账号 选中需要访问本数据库的目标账号。说明 可选的授权账号全部为普通账号，因为高权限账号拥有所有数据库的所有权限...
RDS for MySQL函数group_concat相关问题
t1.col0,t1.col2,t1.col3,t1.col4)separator"-"))from grp_con_test t1,grp_con_test t2 \G-查询结果的长度 group_concat(distinct)去除重复数据失效的处理 失效原因 当设置group_concat_max_len为较大值时，使用 group_concat(distinct)...
正排索引压缩
打开多值排重功能，可以去除索引中重复值，从而缩小最终产出的索引大小。此功能，除多值 Attribute 和单值 String 外，还适用于 Section Attribute。由于排重的过程，需要引入排重词典的等辅助数据结构，会增加 Build 和 Merge 的内存开销...
正排索引压缩
打开多值排重功能，可以去除索引中重复值，从而缩小最终产出的索引大小。此功能，除多值 Attribute 和单值 String 外，还适用于 Section Attribute。由于排重的过程，需要引入排重词典的等辅助数据结构，会增加 Build 和 Merge 的内存开销...
RDS for MySQL函数group_concat相关问题
t1.col0,t1.col2,t1.col3,t1.col4)separator"-"))from grp_con_test t1,grp_con_test t2 \G-查询结果的长度 group_concat(distinct)去除重复数据失效的处理 失效原因 当设置group_concat_max_len为较大值时，使用 group_concat(distinct)...
创建索引
语法 CREATE[UNIQUE]INDEX name ON table({ column|(expression)})[TABLESPACE tablespace]参数 参数名称 描述 UNIQUE 当创建索引（如果数据已经存在）和每一次添加数据的时候，这个参数会让系统去检查表中的重复值。如果进行的插入或更新...
数据建模
重复率 对应分区，重复值个数与总行数的比率与一个期望固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!空值数量 对应分区，该字段的空值数与期望固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!空值率 ...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
ModifyDatabaseConfig-修改数据库属性
参数名称 允许的值 修改时是否需要独占库 最低 SQL Server 版本 备注 rds_optimize_db_file_grow 1 否 所有版本适用 将数据库的所有文件增长设置为大小，且大小为 256MB。rds_set_db_online 1 否 所有版本适用 允许用户 online，如果数据库...
ModifyDatabaseConfig-修改数据库属性
参数名称 允许的值 修改时是否需要独占库 最低 SQL Server 版本 备注 rds_optimize_db_file_grow 1 否 所有版本适用 将数据库的所有文件增长设置为大小，且大小为 256MB。rds_set_db_online 1 否 所有版本适用 允许用户 online，如果数据库...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
查看增强监控
db.connections.waiting.max 最小值：db.connections.waiting.min 等待连接数 Counts ✔️ ✔️ 平均值：db.connections.idle.avg 最大值：db.connections.idle.max 最小值：db.connections.idle.min 空闲连接数 Counts ✔️ ✔️ 平均值：...
CREATE INDEX
索引主要用于改进数据库性能（虽然不当使用会导致性能下降）。索引的键字段以列名的形式指定，也可以使用括号中的表达式的形式指定。可以指定多个字段以创建多列索引。索引字段可以是一个从表行的一个或多个列的值进行计算的表达式。此功能...
分析数据
数据探查详细模式的说明如下：针对STRING和DATE类型：为您展示字段个数、唯一值、有效值、空值率等基本信息和重复值Top5。针对INTEGER和FLOAT类型：为您展示基本信息（字段个数、唯一值、零值、空值率等）、重复值Top5、统计信息和直方图。...
如何优化数据全量抽取
但缺点也比较明显，当ID上有重复值时，可能会漏掉部分记录。改进方案2 MySQL支持通过 Row Constructor Expression 实现多列比较的语义（PolarDB-X 同样支持）。(c2,c3)>(1,1)等价于 c2>1 OR((c2=1)AND(c3>1))因此，可以用下面的方法实现...
近似函数
命令说明：返回指定列中从小到大排序，位于指定百分比（近似）的结果，该函数不会对指定列中重复值进行去重。percentage为指定的百分比，取值范围[0,1]，例如指定percentage为1时，会返回该列中最大的值。返回值类型：BIGINT。示例：查询 ...
质量规则模板类型
字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行...
质量规则模板类型
字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行...
查看内置规则模板
数据质量为您提供内置表级别、字段级别的监控模板。本文为您介绍数据质量的校检逻辑及内置模板规则。计算说明 计算波动率：您可以根据波动率计算公式（波动率=（样本-基准值）/基准值）计算结果。样本 当天采集的具体的样本的值。例如对于...
ADAM概览
异构数据库迁移ADAM（Advanced Database&Application Migration）提供数据库平滑迁云解决方案，全面评估上云可行性、成本和云存储选型，内置实施协助、数据迁移、应用迁移等工具，覆盖数据库迁移的全生命周期，帮助企业降低数据库和应用...
自建SQL Server通过物理网关迁移上云
本文介绍如何通过DTS控制台的物理网关迁移上云功能将ECS、IDC或其他云服务器中的自建SQL Server数据库迁移到RDS SQL Server。该功能采用物理网关协议的接入方式，具有速度快、操作简单、稳定性好、场景覆盖全等特点，能够有效提高迁移效率...
配置跨库Spark SQL节点
Spark SQL引用别名 是 输入该数据库在Spark SQL语句中的别名，默认值为数据库名。说明 数据库别名由数字、大小写字母及下划线（_）组成，且长度不超过32个字符。如需添加多个目标数据库，单击数据库右侧的。在SQL区域，编写Spark SQL语句，...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
ALTER DATABASE
ALTER DATABASE 更改一个数据库的属性。简介 ALTER DATABASE 更改一个数据库的属性。第一种形式更改某些针对每个数据库的设置。只有数据库拥有者或者超级用户可以更改这些设置。第二种形式更改数据库的名称。只有数据库拥有者或者超级用户...
CreateDdrInstance-跨地域恢复数据到新实例
其中包含重复值。400 InvalidSecurityIPList.QuotaExceeded Specified security IP list is not valid:Exceeding the allowed amount of IP address in the list.指定的安全IP列表中包含的IP地址数超过允许上限。SecurityIPList支持最多...
CreateDdrInstance-跨地域恢复数据到新实例
其中包含重复值。400 InvalidSecurityIPList.QuotaExceeded Specified security IP list is not valid:Exceeding the allowed amount of IP address in the list.指定的安全IP列表中包含的IP地址数超过允许上限。SecurityIPList支持最多...
CREATE DATABASE
CREATE DATABASE 用于创建数据库。创建数据库 说明 每个集群最多可以创建2048个数据库。语法 CREATE DATABASE[IF NOT EXISTS]db_name 参数 db_name：数据库名。密码规则如下：长度不超过64个字符。以小写字符开头。可包含字母、数字以及...
数据库管理
数据库（Database）是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库，但是客户端程序一次只能连接上并且访问一个数据库，无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
CREATE DATABASE
本文介绍创建数据库的基本语法。CREATE DATABASE基本语法如下：CREATE DATABASE[IF NOT EXISTS]db_name[ON CLUSTER cluster];参数说明：db_name：数据库名。以小写字母开头，可包含字母、数字以及下划线（_），但不能包含连续两个及以上的...
ALTER DATABASE
如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法 仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...
- 产品推荐
- 这些文档可能帮助您