什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
互联网金融：上海富友支付服务股份有限公司
支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助力用户构建安全、可扩展、高可用的数据架构。DTS支持源为传统商业数据库的迁移，如Db2 ...
API概览
DescribeDrdsShardingDbs 该接口用于查询 PolarDB-X 1.0 下水平拆分数据库。DescribeDrdsDB 该接口用于查询实例下的目标数据库详情。DescribeDrdsDBs 该接口用于查询 PolarDB-X 1.0 实例下所有数据库信息。存储管理 API 描述 ...
简介
PolarDB架构及数据库代理介绍 PolarDB 标准版具有如下特点：由多节点构成的数据库集群，包括一个主节点，多个只读节点。对外默认提供两个地址，分别为主地址和集群地址。说明 集群地址功能由数据库代理提供，分为只读和可读可写两种读写...
Redis集群中某个节点缓存无法写入
问题描述 在使用阿里云云数据库Redis...在Redis集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。相关文档 排查Redis实例内存使用率高的问题 实时大Key和热Key统计 通过Proxy Query Cache优化热点Key问题 适用于 云数据库Redis
产品架构
典型应用架构 根据使用场景不同，表格存储 有互联网应用架构、数据湖架构和物联网架构三种典型应用架构。互联网应用架构 互联网应用架构包括数据库分层架构和分布式结构化数据存储架构，主要用于电商订单、直播弹幕、网盘中文件元数据、...
数据集拆分
功能说明 数据集拆分组件可以根据拆分比例对输入数据集做拆分处理，输出两个变量名称相同但数据量不同的数据集。可使用数据集拆分组件将数据集拆分为两份以适用于不同的场景。支持随机拆分和前后拆分两种方式。计算逻辑原理 随机拆分：按照...
发现并处理大Key和热Key
在 Tair 集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。对大Key进行清理 将不适用 Tair 能力的数据存至其它存储，并在 Tair 中删除此类数据。说明 若您的实例为Tair实例，您可以通过 UNLINK 命令安全地删除大Key甚至特大Key...
为什么Redis内存报警与监控的内存使用率不一致
在 Redis 集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。检查是否使用了Hash Tag 如果使用了Hash Tag，请根据业务实际情况，评估将一个Hash Tag拆分为多个Hash Tag，使数据更加均匀地分布在不同的数据分片节点上。扩容实例...
发现并处理Redis的大Key和热Key
在Redis集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。对大Key进行清理 将不适用Redis能力的数据存至其它存储，并在Redis中删除此类数据。说明 Redis 4.0及之后版本：您可以通过 UNLINK 命令安全地删除大Key甚至特大Key，该...
未来规划
传统数据库架构依赖于高端硬件，每套数据库系统服务器少，架构相对简单，但无法支持新业务的扩展需求。云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台...
排查Redis实例内存使用率高的问题
在 Redis 集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。检查是否使用了Hash Tag 如果使用了Hash Tag，请根据业务实际情况，评估将一个Hash Tag拆分为多个Hash Tag，使数据更加均匀地分布在不同的数据分片节点上。扩容实例...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
数据模型架构规范
数据处理流程架构 数据划分及命名空间约定 请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。按业务划分：命名时按主要的业务...
创建Kudu数据源
从早期的OLTP、OLAP拆分，到后来的Lambda架构，都存在数据复制和同步的复杂性，而Kudu的单一数据架构，规避了传统架构数据复制和同步的复杂性。更多详情请参见 Kudu官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
应用场景
该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
产品系列概述
产品系列说明 系列 说明 使用场景 支持的数据库版本 主从版 一主多从传统数据库架构，最少支持0个只读节点，实现高性价比的基础版架构，也支持按需逐步扩展只读节点，最多支持5个只读节点。只读节点为单节点，同时所有只读节点均可参与容灾...
使用拆分字段
拆分字段即分库/分表字段，是在水平拆分过程中用于生成拆分规则的数据表字段。数据访问代理会根据拆分字段的值将数据表水平拆分到每个物理库实例上的物理分库/分表中。拆分原则 数据表拆分的首要原则，就是要尽可能找到数据表中的数据在...
创建数据板块
在开始执行操作前，请确认您已将数据板块架构师、业务负责人、数据负责人添加至Dataphin成员列表。具体操作请参见 添加Dataphin成员。使用限制 支持超级管理员和系统管理员新建数据板块。如何获取系统管理员角色请参见 添加Dataphin成员。...
PolarDB Serverless实现了哪些突破
在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...
创建数据板块
在开始执行操作前，请确认您已将数据板块架构师、业务负责人、数据负责人添加至Dataphin成员列表。具体操作请参见 配置成员和超级管理员的联系方式。使用限制 支持超级管理员和系统管理员新建数据板块。如何获取系统管理员角色请参见 配置...
跨境SaaS:深圳市易仓科技有限公司
存在资源碎片，资源利用率低 痛点5:业务快速发展，租户数据越来越大，存储成本越来越高 痛点6:传统主从架构数据库模式，实例众多，数据集成成本高 痛点7:租户数据量越来越大，单租户维度查询性能遇瓶颈 解决方案 PolarDB多主集群助力易仓跨...
功能特性
在创建分布式数据库后，只需选择拆分键，数据访问代理就可以按照拆分键生成拆分规则，实现数据水平拆分。透明读写分离 通过使用数据访问代理只读实例或者 MySQL 备机实现读写分离，帮助应用解决事务、只读实例或者备机失效、指定主备访问等...
概述
集群任务允许用户自己对数据进行拆分，将待处理数据拆分成一个个索引块，业务集群中的每台机器都会分配到数据进行处理，使用灵活，并可以监控任务的执行情况。金融行业日切 金融行业的日切是一个很复杂的操作，需要多个任务按照指定顺序...
冷热分层
在数据湖架构设计中，通常会应用HTAP（Hybrid Transaction and Analytical Process）体系结构，通过合理地选择分层存储组件和计算引擎，既能支持海量数据分析和快速的事务更新写入，又能有效地降低冷热数据分离的成本。更多介绍请参见 结构...
数据迁移流程
适用于数据库升级、跨实例数据迁移、数据库拆分、扩容等业务场景。您可以参考以下流程进行迁移前的准备工作、以及购买、配置和管理数据迁移项目。完成准备工作。数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。您已为源...
产品优势
微服务产品提供金融级分布式架构的基础设施能力，包括 RPC 框架及服务治理、服务注册与发现、动态配置、定时任务、服务限流等，为传统单体应用架构深入拆分为分布式应用架构提供稳定可靠的基础设施能力，帮助企业级客户快速构建基于微服务...
任务拆分和执行
第一层拆分：按用户表维度进行数据拆分。第二层拆分：按分页维度进行数据拆分。任务执行阶段：对每个用户数据进行处理，详情请参见 集群任务执行阶段。执行模式：支持本地执行模式以及远程执行模式。线程池配置：支持使用默认线程池配置或...
技术面临的挑战与革新
在Proxy的协同下，甚至可以做到节点切换对应用无感知 传统分布式架构与存储计算分离架构对比 分布式数据库其实已经有了不短的历史，早期的分布式数据库，在整体架构上可以分为share nothing和share disk两大类。share disk通过扩展底层的...
数据迁移操作指导
数据迁移可以帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文介绍数据迁移功能的使用流程，帮助您快速掌握创建、监控、管理数据迁移任务的操作。背景知识 迁移...
功能特性
多租户 OceanBase 数据库采用了单集群多租户设计，天然支持云数据库架构，支持公有云、私有云、混合云等多种部署形式。OceanBase 数据库通过租户实现资源隔离，让每个数据库服务的实例不感知其他实例的存在，并通过权限控制确保不同租户...
什么是云数据库MongoDB版
云数据库MongoDB版（ApsaraDB for MongoDB）完全兼容MongoDB协议，基于飞天分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份恢复、性能优化等功能。MongoDB的数据结构 MongoDB是面向文档的NoSQL（非关系型）数据库...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
如何选择拆分键
背景信息 拆分键即分库或分表字段，是水平拆分过程中用于生成拆分规则的数据表字段。PolarDB-X 1.0 将拆分键值通过拆分函数计算得到一个计算结果，然后根据这个结果将数据分拆到 私有定制RDS 实例上。数据表拆分的首要原则是尽可能找到数据...
概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
- 产品推荐
- 这些文档可能帮助您