RDS术语
死锁 DeadLock，由于事务的特殊机制，一个事务对特定资源进行修改的同时会锁定该资源，防止其他并发事务对该资源进行修改，以达到数据一致性的目的。死锁通常是由多个事务互相竞争资源引发的。顺序I/O 按照顺序向磁盘进行读写操作。随机I/O...
RDS术语
死锁 DeadLock，由于事务的特殊机制，一个事务对特定资源进行修改的同时会锁定该资源，防止其他并发事务对该资源进行修改，以达到数据一致性的目的。死锁通常是由多个事务互相竞争资源引发的。顺序I/O 按照顺序向磁盘进行读写操作。随机I/O...
数据安全性
上传文件的数据完整性校验 由于移动端网络环境的复杂性，数据在客户端和服务器之间传输时有可能会出错。OSS提供了基于MD5和CRC64的端到端的数据完整性验证功能。MD5校验 需要在上传文件时提供文件的Content-MD5值，OSS服务器会帮助用户进行...
基本原理
区别传统的两阶段提交(XA)事务，基于最终一致性原理的“柔性事务”能够更好的满足应用的高性能与高可用要求。在分布式数据库中，如果一个事务同时修改多个分库的数据，无法简单保证所有分库一定都能提交成功。如果在事务提交过程中出错，会...
集群容灾能力
数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，HDFS的副本系数是3，存放策略是将一个副本存放在...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
OSS有几种数据校验方式？
OSS会在接收文件时，将文件的MD5值和Content-MD5进行比对，两者一致时才可以上传成功，从而保证上传数据的一致性。说明 putObject、getObject、appendObject、postObject、Multipart、uploadPart支持MD5校验。CompleteMultipartUpload的...
创建快照一致性组
快照一致性组能够保证在业务系统跨多块云盘的场景下，数据写入云盘的时序一致性，并保证其崩溃一致性。本文介绍如何创建快照一致性组。应用场景 快照一致性组典型的应用场景如下：业务系统部署在跨ECS实例的集群文件系统中，且要求时序一致...
客户案例
从Java Storm迁移到Flink SQL使实时计算开发周期大大减少，维护更加容易，数据一致性得到更好地保障，提升了业务监控大屏的准确性和实时性，用户可以更专注于业务，加速了业务的实时化。同时，阿里云的24小时运维服务保证了集群稳定，实现...
概述
在只能提供最终一致性读的情况下，无论是A服务还是B服务，在进行数据读取时，都无法保证读取到步骤1中最新写入的数据，从而给上层业务带来数据一致性问题。此前面对这种使用场景，只能将只读请求转发到RW节点上，以保证写后读的数据一致性...
数仓分层
公共维度层（DIM）：基于维度建模理念思想，建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表，维度和维度逻辑表通常一一对应。公共汇总粒度事实层（DWS）：以分析的主题对象作为建模...
数仓分层
公共维度层（DIM）：基于维度建模理念思想，建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表，维度和维度逻辑表通常一一对应。公共汇总粒度事实层（DWS）：以分析的主题对象作为建模...
源为PolarDB-X的功能规范和约束说明
切流后可能有5分钟以内的数据质量问题，需要您的业务开发配合订正，确保数据的一致性。不满足RPO的异常切流。源端执行大量DDL操作、网络、目的库性能等问题，可能会导致DTS任务存在延迟，此时如刚好遇到机房故障，且同步或迁移至目标库的...
数据质量保障原则
完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失，两者都会造成统计结果不准确。完整性是数据质量最基础的保障。例如，某个稳定业务的数据量每天约为100万条记录，...
源为PolarDB-X的功能规范和约束说明
切流后可能有5分钟以内的数据质量问题，需要您的业务开发配合订正，确保数据的一致性。不满足RPO的异常切流。源端执行大量DDL操作、网络、目的库性能等问题，可能会导致DTS任务存在延迟，此时如刚好遇到机房故障，且同步或迁移至目标库的...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业级...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业级...
跨租户发布概述
使用限制 自定义数据源需要手动创建目标环境，并保证来源环境与目标环境的数据源类型的编码一致性，若不一致，则发布时可能存在有未知的异常。数据源及计算源中的配置文件无法导出，需要在发布时重新上传配置文件。背景信息 为确保租户之间...
跨租户发布概述
使用限制 自定义数据源需要手动创建目标环境，并保证来源环境与目标环境的数据源类型的编码一致性，若不一致，则发布时可能存在有未知的异常。说明 Dataphin v3.10以前版本创建的自定义数据源，不支持跨租户发布。数据源及计算源中的配置...
JindoFS实战演示
文档链接 视频链接 视频发布时间 描述 高效迁移HDFS海量文件到OSS 高效迁移HDFS海量文件到OSS 2021-05-11 通过Hadoop DistCp将HDFS海量文件同步到OSS存在很多问题，例如文件数量太大造成内存溢出、同步效率慢、无法保证数据一致性、不支持...
如何实现恢复数据一致性
数据库备份DBS提供全量备份、增量备份和数据恢复能力。本文介绍如何实现备份一致性，适用于逻辑备份方式，物理备份方式不在本文介绍范围内。工作原理 针对逻辑备份方式，全量备份为了尽...增量备份 恢复数据一致性 已开启 支持 未开启 不支持
Binlog日志服务
单流形态：即单流binlog日志（也称为Global binlog），将所有DN的binlog归并到同一个全局队列，提供了保证事务完整性和有序性的日志流，可以提供更高强度的数据一致性保证。例如在转账场景下，基于Global binlog接入 PolarDB-X 的下游MySQL...
新零售：杭州数云信息技术有限公司
涉及商家数据一致性读取，希望读写数据库的读节点延迟小，有较大的读写比，希望能够快速增加读节点。单机存储瓶颈，传统数据库单个实例只能存3T数据，单实例业务数据量大，维护成本高，代码配置复杂。高并发写诉求，对高并发状态下的写能力...
配置数据校验
目标库：以目标库为基准，校验源库与目标库数据的一致性（不校验源库比目标库多的数据）。每秒读取的最大数据行数rps 全量数据校验会占用数据库一定的读取资源，您可以根据实际情况对全量校验任务进行限速设置（每秒读取的数据行数和数据量...
大数据安全治理的难点
若无法准时、准确地产出数据，则相当于损害了信息的 完整性（Integrity）、可用性（Availability）。通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务...
使用限制
SQL及脚本的幂等性 说明 SQL脚本幂等性是指一条SQL语句或一组SQL语句，无论执行多少次，其结果都是一致的，不会因为重复执行而导致数据不一致。为保证数据的正确性，建议您在编写SQL及脚本时使用具有幂等性的操作语句，如 insert overwrite...
创建一致性复制组
创建一致性复制组后，您可以将多个云盘异步复制关系加入到同一个一致性复制组中，从而通过一致性复制组对生产站点和容灾站点之间的复制对进行统一操作和管理。本文介绍如何创建一致性复制组。操作步骤 登录 块存储EBS控制台。在左侧导航栏...
MySQL 5.6测试结果
说明 上述参数为RDS MySQL标准参数模板，统一参数模板可在最大程度上保证数据一致性，同时更加接近生产环境。测试结果 本次压测分两个场景进行，您可以根据自身数据量判断使用哪种场景。内存命中型：适用于数据量较小的场景，可将数据全量...
数据标准概述
业务方面：通过对实体数据的标准化定义，解决数据不一致、不完整、不准确等问题，消除数据的二义性，使得数据在企业有一个全局的定义，减少了各部门、各系统的沟通成本，提升企业业务处理的效率；标准统一的数据指标体系，让业务人员也能够...
MySQL 5.7测试结果
说明 上述参数为RDS MySQL标准参数模板，统一参数模板可在最大程度上保证数据一致性，同时更加接近生产环境。测试结果 本次压测分两个场景进行，您可以根据自身数据量判断使用哪种场景。内存命中型：适用于数据量较小的场景，可将数据全量...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
ACID语义
一致性（Consistency）：从操作开始至结束的期间，数据对象的完整性没有被破坏。隔离性（Isolation）：操作独立于其他并发操作完成。持久性（Durability）：操作处理结束后，对数据的修改将永久有效，即使出现系统故障，该修改也不会丢失。...
DataCheckConfigure参数说明
dest：以目标库为基准，校验源库与目标库数据的一致性（不校验源库比目标库多的数据）。fullCheckMaxReadRps Integer 每秒读取数据的最大行数，取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。fullCheckMaxReadBps Integer ...
MySQL 8.0测试结果
说明 上述参数为RDS MySQL标准参数模板，统一参数模板可在最大程度上保证数据一致性，同时更加接近生产环境。测试结果 本次压测分两个场景进行，您可以根据自身数据量判断使用哪种场景。内存命中型：适用于数据量较小的场景，可将数据全量...
从Amazon RDS for PostgreSQL全量迁移至阿里云
即需要在执行数据迁移前，停止Amazon RDS for PostgreSQL的相关业务，同时为了保障数据一致性，迁移期间请勿在Amazon RDS for PostgreSQL中写入新的数据。一个数据迁移任务只能迁移一个数据库，如果有多个数据库需要迁移，则需要为每个数据...
列存节点的事务一致性说明
中针对复杂查询的处理方式如下：开启 行存和列存自动分流 时，数据库代理对复杂查询（SQL语句的预估执行代价大于阈值）的处理方式不同于普通查询，针对复杂查询，数据库代理会将请求只发送给只读列存节点，即使只读列存节点的一致性位点...
从Amazon RDS for PostgreSQL全量迁移至阿里云
即需要在执行数据迁移前，停止Amazon RDS for PostgreSQL的相关业务，同时为了保障数据一致性，迁移期间请勿在Amazon RDS for PostgreSQL中写入新的数据。一个数据迁移任务只能迁移一个数据库，如果有多个数据库需要迁移，则需要为每个数据...
常见问题
A：您可以使用集群地址并为其选择合适的一致性级别。目前一致性从高到低分别为会话一致性和最终一致性，详情请参见 创建自定义集群地址。Q：单节点故障的情况下是否可以保证RPO为0？A：数据库集群参数为默认设置时RPO不为0，通过调整 ...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。为保障迁移任务的正常进行，避免主备切换导致的逻辑订阅中断，需要 PolarDB PostgreSQL版（兼容Oracle）支持并开启Logical Replication Slot Failover。设置方式，请...
- 产品推荐
- 这些文档可能帮助您