加速密文索引（encdb_btree）
该插件是全密态数据库的性能增强插件，能够提高全密态数据库密文索引相关操作的效率，本文介绍如何使用该插件。背景信息 全密态数据库提供了全链路加密的功能，在保证数据安全的同时，会损耗部分系统性能，具体损耗情况，请参见 全密态数据...
功能支持
说明 RDS PostgreSQL支持插件encdb_btree，能够提高全密态数据库密文索引相关操作的效率。更多信息，请参见 加速密文索引（encdb_btree）。多用户授权 在全密态数据库中，不同用户之间天然存在密文数据隔离，可以通过签发BCL（Behavior ...
全密态数据库性能测试报告
本测试场景使用了阿里云推出的encdb_btree插件，能够有效提高全密态数据库密文索引相关操作的效率。更多信息，请参见 加速密文索引（encdb_btree）。测试数据 点查询 比例 SQL模板 100%SELECT c FROM test1 WHERE k=?表 7.TPS（千）性能...
基础版Spark全密态计算引擎使用示例
创建数据库，存储密文数据和密文计算结果。CREATE DATABASE IF NOT EXISTS test_db;使用全密态引擎创建外表 customer。LOCATION 为密文数据集文件夹所在的OSS路径。本文示例为 oss:/testBucketName/adb/Spark/customer。set spark.adb.tee....
概述
向量数据库使用向量索引技术来实现对特征向量的快速检索。向量索引通常属于近似最近邻搜索（Approximate Nearest Neighbors Search，ANNS）范畴。其核心思想是不仅仅返回最精确的结果项，而是只搜索可能是近邻的数据项，以提高检索效率。...
基本概念
Elasticsearch与关系型数据库的映射关系如下表所示：Elasticsearch 关系型数据库 索引（index）数据库（Database）文档类型（type）表（Table）文档（document）一行数据（Row）字段（field）一列数据（Column）映射（mapping）数据库的...
客户端FAQ
如果您在使用RDS MySQL全密态数据库的客户端访问数据库过程中存在疑问或遇到问题，可以参考本文查看解决方案。常见问题 Q：JDBC读取数据报错：java.lang.NumberFormatException:For input string:"xxxx"A：尝试按照普通数据类型解析密文...
使用EVSM实现应用层敏感数据加解密
应用服务把密文数据存储到数据库。数据解密流程 应用系统从数据库读取已加密的密文数据，并将应用数据密文透传给云密码机进行解密。密文解密后云密码机将明文信息返回给应用系统。密码机提供密钥生成和管理、数据加密和解密功能。整个密码...
命令行工具、DMS
操作步骤 本文以abc.test表为例，对a列已加密保护，对b列没有加密保护，通过命令行工具和DMS查询数据库，用户在a列只能看到密文，在b列可以看到明文。通过命令行工具查询 通过命令行连接RDS MySQL实例。在命令行工具中执行如下命令：SELECT...
明文和密文的转换
使用全密态数据库集群时，支持修改列类型（明文类型修改为密文类型，密文类型修改为明文类型）。前提条件 已创建全密态数据库，并完成相关配置。具体请参见 开通全密态数据库、定义敏感数据 和 客户端使用说明。PolarDB PostgreSQL版 集群...
明文和密文的转换
使用全密态数据库实例时，支持修改列类型（明文类型修改为密文类型，密文类型修改为明文类型）。前提条件 已创建全密态数据库，并完成相关配置。具体请参见 开通全密态数据库、定义敏感数据 和 客户端使用说明。当前用户已获得BCL授权，...
数据加密
这些数据库或者表中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）或者服务（例如对象存储OSS）前都会进行加密，因此实例对应的数据文件和备份都是以密文形式存在的。TDE加密采用国际流行的AES算法。密钥由KMS服务加密保存，RDS只在启动...
数据加密
这些数据库或者表中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）或者服务（例如对象存储OSS）前都会进行加密，因此实例对应的数据文件和备份都是以密文形式存在的。TDE加密采用国际流行的AES算法。密钥由KMS服务加密保存，RDS只在启动...
数据加密
这些数据库或者表中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）或者服务（例如对象存储OSS）前都会进行加密，因此实例对应的数据文件和备份都是以密文形式存在的。TDE加密采用国际流行的AES算法。密钥由KMS服务加密保存，RDS只在启动...
数据加密
这些数据库或者表中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）或者服务（例如对象存储OSS）前都会进行加密，因此实例对应的数据文件和备份都是以密文形式存在的。TDE加密采用国际流行的AES算法。密钥由KMS服务加密保存，RDS只在启动...
数据加密
这些数据库或者表中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）或者服务（例如对象存储OSS）前都会进行加密，因此实例对应的数据文件和备份都是以密文形式存在的。TDE加密采用国际流行的AES算法。密钥由KMS服务加密保存，RDS只在启动...
数据加密
当云数据库MongoDB实例开启TDE功能后，新创建的数据库或集合中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）、服务（例如对象存储OSS）前都会进行加密，因此实例中对应的数据文件和备份文件都是以密文形式存在的。TDE的设置方法请参见 ...
安全算法示例
密文：null（不同数据库的空值展示不同）对应算法为 ddNullValue(column)。淘宝账号 明文：淘宝达人001。密文：淘*1对应算法为 ddTaobaoNick(column)。自定义掩码（自定义替换值）明文：'123456789',1,2,*,3,4,#,5,6,%。密文：'*2#4%6789'...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
Profile性能诊断及优化案例
Bitmap索引 Bloom filter索引 优化数据倾斜 单表物化视图 确认Join左右表Plan是否合理 确认JoinRuntimeFilter是否生效 Colocate Join 确认分桶或分区裁剪是否生效 Bitmap索引 Bitmap索引是一种使用bitmap的特殊数据库索引。bitmap即为一个...
概述
本文主要介绍了 PolarDB 数据库代理（Proxy）提供的 全密态PolarMySQL 功能。前提条件 PolarDB 数据库代理版本需为 2.8.36 或以上。如何查看和升级当前数据库代理版本，请参见 小版本升级。背景信息 随着国家对数据安全和个人敏感信息的...
Napatech案例
云原生多模数据库 Lindorm 助力Napatech大幅提升存储、索引性能。生态合作伙伴介绍 Napatech公司（OSE：NAPA.OL）是一家提供FPGA解决方案的丹麦公司，成立于2003年。公司总部位于丹麦，销售和支持的区域包括美国，亚太地区，欧洲，中东和...
集成EncDB SDK
您首先需要获取加密数据库的连接信息，如域名（host）、端口（port）、数据库实例名（dbname）、用户名（username）、密码（password）等。配置加密规则。具体操作请参见 新建加密规则。配置Java SDK（EncDB SDK）在您的Maven项目里添加...
MySQL数据库对外键和索引等名称的长度限制导致创建时...
Identifier name 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' is too long 问题原因 因为 MySQL数据库 对外键和索引等名称的长度有限制，具体如下：Identifier Type Maximum Length(characters)Database 64(NDB ...
DecryptKMSDataKey-解密KMS数据密钥密文
解密KMS数据密钥中的CiphertextBlob密文。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必...
方案选择
查询数据：仅将需要检索的字段存入Elasticsearch（基于Lucene分布式索引数据库），借助于Elasticsearch的索引能力，提供可以应付维度膨胀的订单数据，然后必要时反查MySQL获取订单完整信息。该方案应付了数据维度膨胀带来的困扰，但是随着...
列存索引（IMCI）
列存索引（IMCI）概述 免费体验PolarDB MySQL列存索引（IMCI）使用说明 添加只读列存节点 列存索引语法说明 HTAP行列分流方案 进阶使用列存索引 列存索引配置参数说明 列存索引技术白皮书 列存索引原理剖析 列存索引常见问题
元数据库和数据字典
COLLATION_NAME：列collation名 COLUMN_TYPE：列类型（包含精度）COLUMN_KEY：列索引信息 EXTRA：列额外信息 PRIVILEGES：列权限信息 COLUMN_COMMENT：列注释 GENERATION_EXPRESSION：生成列 STATISTICS STATISTICS表提供关于数据库索引的...
EncDB SDK
如果您希望使用全密态功能对数据库表中的被保护数据列进行加密，并且使用Java应用程序访问数据库，可以使用全密态客户端Java SDK模块EncDB SDK接入全密态数据库，接入操作便捷，能够降低使用全密态功能的成本。本文介绍如何通过EncDB SDK...
使用说明
其他 如果您对列存索引背后的原理感兴趣，您可以参考以下文档来进一步了解列存索引：PolarDB IMCI发表在 SIGMOD2023上的论文 列存索引技术白皮书 列存索引技术架构介绍 列存索引中TopK算子的实现 列存索引中HashMatch算子的实现 列存索引中...
密态运维及脱敏
在数据加密状态下，非授权DBA仅可见数据密文、无法进行涉及数据内容的运维操作，全密态数据库支持密态运维，允许DBA在获得用户授权后（BCL授权）可以正常运维，支持数据脱敏，确保DBA在提供密态运维的同时，仍然无法获取用户明文数据。...
密态运维及脱敏
在数据加密状态下，非授权DBA仅可见数据密文、无法进行涉及数据内容的运维操作，全密态数据库支持密态运维，允许DBA在获得用户授权后（BCL授权）可以正常运维，支持数据脱敏，确保DBA在提供密态运维的同时，仍然无法获取用户明文数据。...
最佳实践
RDS MySQL全密态数据库能够对数据库查询结果中的数据进行加密和脱敏保护，任何非授权人员均无法查看被保护数据明文内容。本文介绍如何通过全密态客户端驱动EncJDBC快速使用并验证RDS MySQL全密态数据库功能。前提条件 RDS MySQL实例的大...
玄武分析型存储
玄武采用了自适应列级自动索引技术，针对字符串、数字、文本、JSON、向量等列类型都有自动配置的索引数据结构，并且可以做到列级索引任意维度组合检索、多路渐进流式归并，大幅提升了数据过滤性能。目前索引类型主要有：倒排索引、BKD-Tree...
通过Reindex API迁移自建Elasticsearch数据
Reindex API是Elasticsearch提供的一种用于将数据从原有的索引迁移至目标索引的接口。如果您需要迁移数据，且源索引的数据不需要进行复杂的转换和处理，您可以按照本文提供的步骤，使用Reindex API将数据从自建Elasticsearch集群迁移至...
全局索引
全局索引（GLOBAL INDEX）是分区表上的一种索引技术，可以创建在分区表的非分区键上，也支持提供唯一约束。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.4.0及以上）说明 您可通过如下语句查看 ...
2023年
本文介绍 PolarDB PostgreSQL版 的产品功能动态，分别为内核小版本、控制台、时空数据库和插件的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版 的内核小版本的版本号：select version();14.10.16.0 内核小版本 类别 说明 相关...
列存索引如何实现高效数据过滤
Minmax minmax索引是针对大型数据集的一种增强型索引技术。它通过存储每个数据块的最小值和最大值来为数据集构建索引，从而提供快速和高效的数据检索。minmax索引适用于数据集中、数值连续的数据，例如时间戳或实数值。它将数据集拆分成块...
- 产品推荐
- 这些文档可能帮助您