附录：公共数据集
背景信息 PAI提供如下公共数据集：CIFAR-10图像数据集 PASCAL VOC 2007图像数据集 内容风控领域的图像分类数据集 内容风控领域的目标检测数据集 Deepfashion2图像数据集 CIFAR-10图像数据集 CIFAR-10是广泛应用于深度学习图像分类领域的...
概述
从应用视角看，全密态数据库可以解决不同应用场景下的数据安全问题，几种典型场景如下：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。例如，业务将应用数据库...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
常见问题
本文汇总了 云数据库 SelectDB 版 的常见问题及解决方案。产品选型 阿里云数据库 SelectDB 版与自建 Apache Doris 数据库对比，有哪些优势？计费 为什么包年包月实例还会产生后付费账单？应用场景 云数据库 SelectDB 版可以应用在哪些场景...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
透明页压缩TPC
什么是透明页压缩 透明页压缩 TPC（Transparent Page Compression）中，页压缩指对Buffer Pool中的页执行实时的I/O压缩和解压缩，透明是指使用过程中无感知，数据在写入磁盘时自动压缩，数据在从磁盘读取时自动解压缩。透明页压缩的主要...
数据压缩
物联网平台的数据压缩功能，可以对设备与物联网平台之间的数据传输进行压缩处理。通过对消息的压缩，达到节约设备流量和提高传输速度的效果。本文介绍数据压缩功能的使用。使用限制 仅尊享型企业版实例和标准型企业版实例支持数据压缩。仅...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
X-Engine引擎常见问题
X-Engine是阿里巴巴自研的基于LSM-tree架构的存储引擎，提供了强大的数据压缩能力，满足了归档数据库低存储成本的要求。通过LSM-Tree（Log-Structured Merge-Tree）层次化架构和Zstandard（ZSTD）压缩算法实现了更高的数据压缩率，对比使用...
数据湖管理FAQ
本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关...
机器学习
轻量化程度高，面对复杂问题的解决方案选型时选择 云原生数据仓库AnalyticDB PostgreSQL版 即可，比如既要解决分类问题又要解决社交网络分析等问题时；计算有弹性，性能有保障，基于 云原生数据仓库AnalyticDB PostgreSQL版 云原生架构，...
解决方案与客户案例
数据层 数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
业务切换流程
由于创建的反向迁移任务会将目标库产生的增量数据实时迁移回源库，如果业务运行出现问题，可随时将业务切换回源库。后续步骤 业务切换至目标数据库并稳定运行一段时间，测试所有业务涉及的功能并确认无问题，可结束反向数据迁移的任务，...
业务切换流程
由于创建的反向迁移任务会将目标库产生的增量数据实时迁移回源库，如果业务运行出现问题，可随时将业务切换回源库。后续步骤 业务切换至目标数据库并稳定运行一段时间，测试所有业务涉及的功能并确认无问题，可结束反向数据迁移的任务，...
LTS（原BDS）服务介绍
主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群，尽可能减少对业务产生的影响，当主集群服务恢复之后，通过LTS同步服务补齐主集群遗漏的数据。RDS历史库 对于交易订单等存储场景，随着数据量...
测试与发布API
附录：错误码及解决方案 错误代码 错误问题 解决方案 DPN-OLTP-COMMON-000 成功。无。DPN-OLTP-COMMON-001 系统发生未知异常。请提交 工单，或联系Dataphin的支持人员协助处理。DPN-OLTP-COMMON-002 参数异常。请检查参数的正确性。DPN-...
LTS（原BDS）服务介绍
主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群，尽可能减少对业务产生的影响，当主集群服务恢复之后，通过LTS同步服务补齐主集群遗漏的数据。RDS历史库建设 对于交易订单等存储场景，随着...
解决SQL Server表中的中文乱码问题
解决方法 为了解决在SQL Server表中查询生僻字出现乱码的问题，您需要使用Unicode编码格式的数据类型，例如NVARCHAR，并在向该数据类型插入数据时，使用前置词N。N代表国家语言，必须大写。如果没有使用前置词N，则SQL Server会将字符串...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
Spark
本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息？如何解决提交Spark应用时，出现User%s do not have right permission[*]to resource[*]报错？如何解决运行Spark应用时，出现No space ...
排查Redis实例内存使用率高的问题
如果您的实例为标准版，扩容内存规格后仍无法解决内存使用率高的问题，可以考虑升级为集群版，将数据分布到多个数据分片节点上，减轻单个数据分片节点的内存压力。详情请参见 变更实例配置。排查是否创建大量新连接 排查方法：查看 Redis ...
混合存储型（已停售）
与 Redis社区版 不同，Tair 混合存储型整合了内存和磁盘二者的优势，在提供高速数据读写能力的同时满足了数据持久化的需求。说明 混合存储型已停止售卖，更多信息，请参见【通知】Redis混合存储型实例停止售卖。推荐选择 持久内存型 实例。...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
解压缩文件失败
在主机管理控制台进行网站程序压缩文件的解压缩操作时，可能会因为压缩包文件存在损坏、格式错误或者网站空间已满等原因，导致文件解压缩失败。本文为您介绍解压缩失败的可能原因和解决方案。问题现象 在云虚拟主机管理控制台上执行文件解...
解决方案与客户案例
数据层：数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
存储引擎
数据压缩类型：压缩算法支持ZLIB、ZSTD和LZ4等，高压缩率可显著降低数据存储成本，并通过高带宽解压缩性能降低IO时间。外表OSS存储：数据可远端低成本存储于OSS上，查询和写入行为与本地表完全一致。数据分区：支持数据多级分区，且可按...
ADAM概览
异构数据库迁移ADAM（Advanced Database&Application Migration）提供数据库平滑迁云解决方案，全面评估上云可行性、成本和云存储选型，内置实施协助、数据迁移、应用迁移等工具，覆盖数据库迁移的全生命周期，帮助企业降低数据库和应用...
管理从集群
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，网络中所有集群的数据保持同步。当您的业务部署在多个地域时，利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...
Transaction Table2.0概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...
混合存储型（已停售）
云原生内存数据库Tair 混合存储型整合了内存和磁盘二者的优势，在提供高速数据读写能力的同时满足了数据持久化的需求。说明 混合存储型已停止售卖，更多信息，请参见【通知】混合存储型实例停止售卖，推荐选择 持久内存型 实例。简介 图 1....
数据压缩与编码
本文主要介绍Hbase在数据压缩与编码中的实际应用。压缩算法 目前阿里云平台支持压缩算法有：LZO、ZSTD、GZ、LZ4、SNAPPY NONE，其中NONE就代表不开启压缩。不同压缩算法在不同场景的压缩比，及解压速度对比如下，都是来自线上真实场景。...
减灾与应急时空解决方案与案例
方案背景 华宁环球（北京）减灾...特别在栅格数据处理上接口设计简单、功能丰富，并有效解决了困扰一般WebGIS用户的栅格数据处理性能问题。PolarDB云原生架构不仅可保证数据库的安全稳定运行，而且能通过节点的扩缩容实现整体系统的弹性能力。
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
配置任务时测试连接失败的排查及解决方法
如果数据库正常存活且连接信息没有问题，那么通过下面的方法解决问题：有公网IP的自建数据库 根据以下不同的测试结果，进行相应的处理。测试结果一 问题现象 测试连接时，使用 ping 命令测试网络不通，使用 telnet 命令测试端口不通，且...
客户端FAQ
如果您在使用RDS MySQL全密态数据库的客户端访问数据库过程中存在疑问或遇到问题，可以参考本文查看解决方案。常见问题 Q：JDBC读取数据报错：java.lang.NumberFormatException:For input string:"xxxx"A：尝试按照普通数据类型解析密文...
全球数据库市场发展与机遇
2008年，率先发起“去IOE”战略，采用开源数据库技术替代Oracle数据库，成功解决商业数据库高成本压力和业务支持不足等问题。从2010年开始，踏上自研数据库之路，抓住云数据库的技术变革机遇，打造出了一系列先进的数据库产品。自2017年...
- 产品推荐
- 这些文档可能帮助您