最佳实践
如果不需要更改表架构，则可以从Delta表中删除数据并插入新数据，或者更新表以修复不正确的值。如果要更改表架构，则可以atomic替换整个表。例如：dataframe.write \.format("delta")\.mode("overwrite")\.option("overwriteSchema","true...
概述
SOFARegistry 是蚂蚁集团开源的一个生产级、高时效、高可用的服务注册中心，采用 AP 架构（CAP 理论中的 AP，强调可用性），支持秒级时效性推送，同时采用分层架构支持无限水平扩展。SOFARegistry 最早源自于淘宝的 ConfigServer，十年来，...
创建数据访问代理数据表
创建完数据访问代理数据库后，与普通单机数据库一样，数据访问代理也需要创建数据表。对于设置为“分库分表”模式的数据访问代理数据库来说，在创建数据表时需要制定其相应的分表规则，之后应用通过连接数据访问代理可以透明访问后端的数据...
通过数据闪回按时间点恢复数据
开启数据闪回后，在备份文件的保存期内，您可以将实例整体或指定Key的数据恢复至某个秒级的时间点（PITR，point-in-time recovery），同时支持选择将数据恢复至新实例或当前实例。数据闪回功能拥有更精细化的数据恢复能力，能最大程度地...
通过数据闪回按时间点恢复数据
开启数据闪回后，在备份文件的保存期内，您可以将实例整体或指定Key的数据恢复至某个秒级的时间点（PITR，point-in-time recovery），同时支持选择将数据恢复至新实例或当前实例。数据闪回功能拥有更精细化的数据恢复能力，能最大程度地...
云数据库RDS的系统架构及RDS实例的访问方式
本文主要介绍云数据库RDS的系统架构及RDS实例的访问方式。RDS系统架构 云数据库RDS提供全数据链路服务，包括DNS、负载均衡、Proxy等。因为RDS使用原生的数据库引擎，故对数据库的操作高度相似。RDS的两种模式如下：RDS高安全模式 RDS标准...
应用场景
实时数仓 该场景需要在一个平台上提供统一的在线查询和离线计算的能力，简化数据架构，降低开发和运维成本。通过弹性伸缩支持更合理的资源配比，减少非高峰期的保有资源，优化成本，提高性价比。该场景可实现：在离线一体化 支持数据实时增...
创建数据访问代理数据库
创建完数据访问代理实例后，需要创建数据访问代理数据库。创建数据访问代理数据库和创建普通 MySQL 数据库有两点不同：创建数据访问代理数据库的操作只能在控制台上进行；创建数据访问代理数据库时，需要选择若干（包含一个）RDS 或 ...
存储资源
可能原因包含数据库服务进程异常退出、数据库节点宕机、数据库网络异常等，常见的容错策略如下：自动重启：当数据库实例异常终止或崩溃时，可以设置自动重启和恢复机制，自动重新启动数据库服务，并进行必要的数据恢复操作，以确保数据库的...
什么是云数据库ClickHouse
产品架构 企业版架构 云数据库ClickHouse 企业版采用云原生存储与计算资源分离架构打造，支持进行独立的存储和计算资源的扩容，存储和计算资源Serverless 模式按需弹性使用。具体特点如下：存储资源采用多分片（Shard）和副本（Replica）的...
什么是PolarDB MySQL标准版
PolarDB MySQL版 的标准版采用计算与存储分离的架构，数据库代理和计算节点分别采用独立的ECS进行部署，共享存储层使用ESSD云盘，极大的降低了用户使用 PolarDB 的成本。说明 上述产品架构为一写多读的多节点架构。如果您购买标准版时选择...
物理节点管理概述
因此，在使用数据访问代理进行数据库的管理之前，您需要通过数据访问代理控制台添加已购买的数据节点，这些数据节点可以是 RDS 或 OceanBase 实例，使数据访问代理可以接入并管控这些数据节点。当数据访问代理接入数据节点后，您可以通过...
数据静态加密
数据静态存储在云上时，需要执行数据静态存储加密，通常情况下企业将数据存储在如ECS的云盘，OSS、云数据库、NAS等位置。需要这些云产品具备存储加密的能力，确保用户存储在这些云服务中的数据是安全的。阿里云提供了云产品落盘存储加密...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
技术面临的挑战与革新
同时存储计算分离架构在扩展存储时因为不再是记录级别的迁移，不需要过多考虑数据库系统诸如事务完整性、一致性等问题，过程中耗费的计算资源相比share nothing架构的数据库系统大幅下降。可以说存储计算分离是云时代数据库产品的事实主流...
如何对JSON类型进行高效分析
IMCI技术方案 在应对海量半结构化数据的分析场景时，传统数据库与数据仓库均无法同时满足查询性能和灵活架构，因此业界迫切需要新解决方案：PolarDB IMCI。为此，PolarDB IMCI 开发列式JSON、虚拟列、秒级加减列与表列数扩展等一系列相关...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
HBase存算一体转存算分离
由于存算分离架构下，HBase表数据存储到了OSS-HDFS，WAL文件还需要存储到本地HDFS，所以需要修改 hbase-site.xml 配置文件的配置项。参数 说明 hbase.rootdir 修改为 oss:/${test-bucket}.${region}.oss-dls.aliyuncs.com/${hbase}。hbase....
读写分离
在金融级业务场景下，当需要实时、强一致读时，可以通过数据访问代理控制台的 数据库设置 页面来关闭读写分离功能，这时数据访问代理仅能通过强读的方式读取主 RDS 实例，保证访问该库的 SQL 语句只在主 RDS 实例上执行。
管理标签架构待发布对象
标签实体 待发布对象 标签实体待发布对象页面主要由搜索与筛选区、数据架构对象列表、批量操作组成。各区域及操作说明如下。通用说明 如果您有明确的需要发布的对象，您可以单击 批量搜索，在 批量搜索 对话框中通过批量输入对象支持的搜索...
企业版及社区兼容版功能对比
本文将介绍 云数据库ClickHouse 企业版和社区兼容版的产品架构、内核版本的对比。产品架构对比 企业版架构 云数据库 ClickHouse 企业版 采用云原生存储与计算资源分离架构，且存储资源和计算资源均采用Serverless模式，该模式下可按需弹性...
功能特性
数据源配置管理 您可以在产品中添加多种不同类型的数据源配置，每个数据来源配置代表一个核对系统在后续核对工作中可以用来读取数据的数据来源配置，当前支持如下类型的数据源配置：OSS：OSS 文件系统的读取配置，需要您输入访问信息，...
解读实例诊断报告
说明 当您的实例为 集群架构 或 读写分离架构 时，您需要关注性能指标是否发生倾斜及倾斜的数据节点，同时您还可以结合 Top 5 节点 中各性能指标的曲线图，重点关注负载较高数据节点。图 2.性能水位 性能指标 危险阈值 影响 可能的原因及...
归档统计
说明 如果需要统计小时、天、星期三个统计时间的值，此处 Key 上限需要是数据源实际 Key 量的 3 倍。如果报表 Key 数量超过所选的上限，超过上限的 Key 将被丢弃。后续操作 监控产品基本配置完成后，单击所配置的监控产品，进入可视化监控...
解读实例诊断报告
说明 当您的实例为 集群架构 或 读写分离架构 时，您需要关注性能指标是否发生倾斜及倾斜的数据节点，同时您还可以结合 Top 5 节点 中各性能指标的曲线图，重点关注负载较高数据节点。图 3.性能水位 性能指标 危险阈值 影响 可能的原因及...
核心特性
当业务增长到需要分布式扩展的时候，架构原地升级为分布式形态，分布式组件无缝对接到原有的数据节点上进行扩展，不需要数据迁移，也不需要应用侧做改造。功能集 功能 功能描述 参考文档 标准版（集中式）Paxos 多副本 多数派一致性协议。...
实例选型和集群规划
如果OLAP的需求偏多，有批处理ETL场景，其数据一般较少被更新（UPDATE/DELETE），数据为批量入库，同时查询以少量列的全表数据聚合关联为主，需要经常对数据进行统计时，建议采用列存储；需要比较高的压缩比时，也可以选择列存。列存储支持...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量...近几年线下的车辆还不断增加，但是由于 云原生多模数据库 Lindorm 是一种分布式的数据库，所以车辆的数 据增加不需要再变动已有的架构。
错误代码
ERROR 1003:Transaction error,need to rollback 问题描述：在事务中执行时如果出现了 SQL 执行异常，数据访问代理为了数据安全，会强制将事务状态设置为中断，需要显式调用 rollback 后才能继续执行其他 SQL。排查方法：确认是否有数据库...
什么是云数据库Redis版
云数据库Redis版（ApsaraDB for Redis）是兼容开源Redis协议标准的数据库服务，基于双机热备架构及集群架构，可满足高吞吐、低延迟及弹性变配等业务需求。为什么选择云数据库Redis版 硬件部署在云端，提供完善的基础设施规划、网络安全保障...
典型客户案例
实现从应用到数据的分布式多活架构 四川农信建成的下一代 IT 架构，要对标行业内的先进实践，并保证架构的持续迭代和进化能力，目前来看，需要实现“两地三中心异地多活”，多活机制覆盖从接入层、应用层到数据层，在接入层建立相应的流量...
云数据库Redis开发运维规范
由于大括号（{}）为Redis的hash tag语义，如果使用的是 集群架构 的实例，Key名称需要正确地使用大括号避免 引发数据倾斜，更多信息，请参见 keys-hash-tags。说明 集群架构下执行同时操作多个Key的命令时（例如 RENAME 命令），如果被操作...
Tair开发运维规范
由于大括号（{}）为 Tair 的hash tag语义，如果使用的是 集群架构 的实例，Key名称需要正确地使用大括号避免 引发数据倾斜，更多信息，请参见 keys-hash-tags。说明 集群架构下执行同时操作多个Key的命令时（例如 RENAME 命令），如果被...
产品架构
这种架构的存储层可以比较方便的扩展，但是计算节点需要引入分布式协调机制保证数据同步和一致性，因此计算节点的可扩展性有一个上限。Shared Nothing 每个计算节点自己挂载存储，一个节点只能处理一个分片的数据，节点之间可以通信，最终...
容量规划
完成数据库选型后，需要针对业务特性了解不同数据库所需要关注的指标，以常见的MySQL和Redis数据库为例，主要需要关注到业务访问的TPS和数据量等指标，对应到MySQL数据库，则需要关注QPS，CPU，IO，存储空间等，而对于Redis数据库还需要...
创建数据板块
进入 Dataphin规划 页面后，默认进入 数据架构 页面。在 数据架构 页面，单击 新建数据板块。在 新建数据板块 配置向导页面，完成以下操作。在 生产开发类型 页面，选择 Dev-Prod模式 后，单击 下一步。在 板块定义 页面，配置参数。参数 ...
技术原理
当业务增长到需要分布式扩展的时候，架构会原地升级成分布式形态，分布式组件无缝对接到原有的数据节点上进行扩展，不需要数据迁移，也不需要应用侧做改造。适配集分一体化，PolarDB-X 的产品主售形态主要分为标准版（集中式形态）和企业版...
规划工作空间
数据架构清晰，共享便利，人员开发技能要求单一，可根据各层特性分配不同资源。缺点 容易形成数据烟囱，数据重复计算、重复存储，跨空间依赖复杂，资源易争抢。数据架构不清晰，各业务口径不一致，工作空间内人员复杂，数据安全风险高。...
跨租户发布概述
Dataphin支持跨租户的发布对象包括规划类对象、数据架构的相关对象、研发的对象、资产相关的对象。租户发布规划类对象：包括公共定义、数据板块、计算源、项目和数据源。跨租户发布数据架构的相关对象：包括主题域、业务对和业务活动。跨...
未来规划
传统数据库架构依赖于高端硬件，每套数据库系统服务器少，架构相对简单，但无法支持新业务的扩展需求。云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台...
- 产品推荐
- 这些文档可能帮助您