数据质量教程概述
在本教程中，您将学会通过数据质量风险监控，保证数据的完整性、准确性、一致性；通过数据及时性监控，保证数据的及时性。完整性 完整性是指数据的记录和信息是否完整、不缺失。数据的缺失包括数据记录的缺失（表行数异常）和记录中某字段...
数据质量教程概述
在本教程中，您将学会通过数据质量风险监控，保证数据的完整性、准确性、一致性；通过数据及时性监控，保证数据的及时性。完整性 完整性是指数据的记录和信息是否完整、不缺失。数据的缺失包括数据记录的缺失（表行数异常）和记录中某字段...
集群容灾能力
在阿里云上，如果使用的是云盘技术，则每一个云盘在后台都会对应三个数据副本，当其中任一个出现问题时，副本数据都会自动进行切换并恢复，以保证数据的可靠性。Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了...
使用场景
数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性和可控性。数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度...
产品功能
TSDB 提供时序数据的高效读写。对于百万数据点的读取，响应时间小于 5 秒，且最高可以支撑每秒千万数据点的写入。...您也可以通过 TSDB 产品控制台的数据查询功能进行数据分组、降...TSDB 的数据存储默认采取三副本策略，充分保证数据的可用性。
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。MongoDB提供如下备份功能：快照备份：保留某一时间点磁盘的数据状态。能够做到在分钟级完成数据库的恢复。物理备份：备份MongoDB实例中数据库相关的...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。RDS提供如下两种 备份 功能：数据备份：强制项，您必须设置每周进行不少于2次的物理备份。另外，您也可以根据运维需要，通过控制台或者API随时发起...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。RDS提供如下两种 备份 功能：数据备份：强制项，您必须设置每周进行不少于2次的物理备份。另外，您也可以根据运维需要，通过控制台或者API随时发起...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。RDS提供如下两种 备份 功能：数据备份：强制项，您必须设置每周进行不少于2次的物理备份。另外，您也可以根据运维需要，通过控制台或者API随时发起...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。RDS提供如下两种 备份 功能：数据备份：强制项，您必须设置每周进行不少于2次的物理备份。另外，您也可以根据运维需要，通过控制台或者API随时发起...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。RDS提供如下两种 备份 功能：数据备份：强制项，您必须设置每周进行不少于2次的物理备份。另外，您也可以根据运维需要，通过控制台或者API随时发起...
可用性与可靠性
AnalyticDB PostgreSQL版 通过主备多副本和磁盘三副本来保证数据可靠性。异常时自动切换节点，宕机时自恢复来保证极致的可用性，还可以通过备份恢复来进行数据恢复。主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式...
组复制简介
特性 组复制 半同步复制 异步复制 数据可靠性★数据一致性 保证主备数据一致性 不保证 不保证 全局事务一致性 支持 不支持 不支持 数据 强 可靠性 组复制的数据强可靠性来源于Paxos协议的多数派原则，即当多数派收到事务的Binlog后，事务...
引擎功能
数据存储默认采用多副本策略，充分保证数据的可用性。数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势...
使用限制
为保证数据的正确性，建议您在编写SQL及脚本时使用具有幂等性的操作语句，如 insert overwrite、replace into 等，并重复执行SQL以验证是否会影响下游数据的正确性。数量限制 单个 DMS 租户最多可创建5000个任务流（任务编排+数仓开发）。...
数据质量风险监控
在规则配置完毕，且试跑成功的情况下，您需要将表和其产出任务进行关联，这样每次表的产出任务运行完毕后，都会触发数据质量规则的校验，以保证数据的准确性。在表监控规则页面，单击 关联调度，配置规则与任务的绑定关系。在 关联调度 弹...
数据质量风险监控
在规则配置完毕，且试运行成功的情况下，您需要将表和其产出任务进行关联，这样每次表的产出任务运行完毕后，都会触发数据质量规则的校验，以保证数据的准确性。在表监控规则页面，单击 关联调度，配置规则与任务的绑定关系。在 关联调度 ...
通过数据订阅实现缓存更新策略
同时，为保证数据的完整性，业务的更新数据持久化存储至RDS MySQL中。此时，业务需要实现缓存更新策略，保证业务数据更新后，缓存中的数据能够被同步更新。操作步骤 本文以IntelliJ IDEA软件为例，介绍如何运行SDK示例代码来消费订阅数据。...
ACID语义
持久性（Durability）MaxCompute保证数据的持久性。Transactional表的ACID特性 Transactional表的ACID特性在MaxCompute并发写操作的ACID特性基础上，支持如下新特性：INTO类操作保证读已提交，作业冲突执行失败后无数据残留。对于单个非...
新建数据库
说明 当前标准版的工作空间分开发环境和生产环境，以保证数据的安全性。但是由于当前HoloStudio未上线环境切换功能，建议开发和生产绑定同一个DB，否则HoloStudio将无法查询生产环境的数据。环境 配置项 说明 备注 标题 实例显示名称 ...
概述
您需要使用客户端工具加密和解密数据，实现明文与密文数据之间的转换，保证数据的可用性。高性能版（推荐使用）：基于基础版Spark全密态引擎提供的数据加密能力，高性能版的Spark全密态计算引擎结合Gluten和Velox，提供了向量化计算的能力...
如何使用DataV Proxy
DataV Proxy应用是一个可视化的DataV Proxy（DataV数据代理服务）配置工具，您可以通过DataV Proxy应用访问本地或内网等不对外开放且无外网访问地址的数据库，保证数据的安全性。本文档为您介绍DataV Proxy应用的启动方法和相关功能，帮助...
实例间的数据库复制
您可以选择单库复制或全库复制，且整个复制操作要么全部成功，要么全部失败，保证数据的一致性。RDS数据库复制功能与DTS迁移功能的区别 区别项 RDS数据库复制功能 DTS迁移功能 功能原理 RDS数据库复制的实现原理是通过备份集还原，即通过...
开通或关闭数据共享
AnalyticDB PostgreSQL版Serverless模式 实例开通数据共享后，可以实现跨实例联合查询，在保证数据实时性的同时，有效减少数据冗余。使用限制 实例资源类型为Serverless版本。所有实例必须属于同一个阿里云账号。所有实例需要在同一地域下...
产品安全能力
既有效保证了数据的实时性，又实现了数据脱敏，保障了数据访问安全。更多关于动态脱敏的信息和配置介绍，请参见 动态脱敏。安全审计 PolarDB 提供了 SQL洞察和审计 功能，通过采集和分析SQL原始日志，帮助您洞察数据库的安全和性能风险。
SQL闪回
为了保证数据恢复的精准性，PolarDB-X 1.0 对于在5.3.4-15378085版本及以上实例新建的数据库，默认开启精确匹配的开关。开启后，RDS BINLOG中会默认带上执行SQL的信息，增加一定的RDS存储空间。如您需要使用精确匹配的能力，建议升级 ...
数据模型架构规范
良好的数据模型可以帮助我们更好地存储数据，更有效率地获取数据，保证数据间的一致性。模型设计的基本原则 高内聚和低耦合 一个逻辑和物理模型由哪些记录和字段组成，应该遵循最基本的软件设计方法论中的高内聚和低耦合原则。主要从数据...
功能特性
产品优势 断点续传 具有自动断点续传机制，有效地保证数据传输的可靠性。产品优势 数据源容灾守护 源库或目标库无法连接或出现其他问题时，DTS支持立即进行持续的重试操作。数据集成 ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
通过RAM角色授权模式配置数据源
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
标准版-双副本
Redis作为持久化数据存储使用的业务 标准版提供持久化机制及备份恢复机制，极大地保证数据可靠性。单个Redis性能压力可控的业务 由于Redis原生采用单线程机制，性能在10万QPS以下的业务建议使用。如果需要更高的性能要求，请选用集群版本。...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
DML无锁变更概览
能更好地满足业务方对大量数据变更的需求，保证数据变更的执行效率。主要原理 分批执行单个SQL：强大的DMS引擎将单个SQL拆分成多个批次执行。每个批次执行后有Sleep（暂停）进行缓冲。使用限制 当前仅支持UPDATE、DELETE、INSERT_SELECT...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
- 产品推荐
- 这些文档可能帮助您