数据质量保障原则
完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失，两者都会造成统计结果不准确。完整性是数据质量最基础的保障。例如，某个稳定业务的数据量每天约为100万条记录，...
数据质量教程概述
完整性 完整性是指数据的记录和信息是否完整、不缺失。数据的缺失包括数据记录的缺失（表行数异常）和记录中某字段信息的缺失（字段出现空值）。在本教程中，您需要重点关注数据的生产环节（MaxCompute外部表引用的表格存储数据）和加工...
数据质量教程概述
完整性 完整性是指数据的记录和信息是否完整、不缺失。数据的缺失包括数据记录的缺失（表行数异常）和记录中某字段信息的缺失（字段出现空值）。在本教程中，您需要重点关注数据的生产环节（MaxCompute外部表引用的表格存储数据）和加工...
功能简介
完整性：数据完整性是指一个数据集的特定字段或属性都被赋予了数值。准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：...
功能简介
完整性：数据完整性是指一个数据集的特定字段或属性都被赋予了数值。准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：...
质量评估
完整性：数据完整性是指一个数据集的特定字段或属性都被赋予了数值。准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：...
应用场景
数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性和可用性。数据建模：通过数据建模模块提供的各种数据...
增加日志盘容量
为防范此类问题引发的数据完整性受损，事务处理中断以及性能下降等风险，建议您提前采取扩容措施来增加日志盘容量，以确保数据的安全性和事务处理过程的稳定性。说明 当保留的日志信息达到存储上限时，会优先删除最早存入的数据。增加日志...
设置SSL加密
SSL加密功能在传输层对网络连接进行加密，在提升通信数据安全性的同时，保证数据的完整性。本文介绍SSL加密功能的相关操作。前提条件 MongoDB 3.4及以上版本的副本集实例。注意事项 SSL CA证书仅支持通过云数据库MongoDB控制台下载。开通...
mysqldump
该文件包含了创建数据库、表以及插入数据的SQL语句，从而确保数据的完整性和一致性。使用示例 导出 导出test_db数据库中的test_table表：mysqldump-h127.0.0.1-P9030-uroot-no-tablespaces-databases test_db-tables test_table 导出test_...
高性能版实例
恢复模式中，系统会对残留的锁和内存执行一些清理操作，并通过回放WAL文件来保证数据的完整性。恢复期间，实例会暂时无法服务，完成恢复后，实例会恢复正常。高可用版实例恢复一般耗时5~10分钟（min），而高性能版实例通过更改CheckPoint...
按时间点将备份数据恢复至新建实例
为保障数据的完整性和正确性，恢复分片集群实例的数据时，请勿选择最近的时间点（通常为最近1小时），否则会导致恢复失败。可恢复时间范围为日志备份的保留时长，如何设置日志备份，请参见 自动备份MongoDB数据。新建实例。在 克隆实例 ...
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
常见问题
重新配置任务时，如果不选择 全量同步，在任务释放到新任务启动这段时间新增的数据无法同步到目标库，无法保障数据一致性。如果业务对数据要求比较精确，您可以删除目标库的数据，然后重新配置同步任务，并在 任务步骤 同时选中 库表结构...
阶段二：数据安全防护措施及策略增强建设
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
代码评审报告
是 数据完整性 数据获取是否完整 代码中的数据获取逻辑是否完整。例如累计客户数，是否完整包含了历史上有效存在，但当前不存在的客户。是 边界值检查 代码中对于边界值的处理是否正确。例如最近30天包含今天但不包含第前30天的。例如日期...
修改备份源
测试阶段结束，需要将数据库切换为生产环境，确保备份的数据源与生产环境一致，保证生产数据的备份完整性和可用性。源数据库账号密码配置错误或权限不足，需要修改账号密码或调整账号权限。源数据库的库表发生变动，例如新增、删除或修改了...
安全白皮书概述
Dataphin高度重视数据安全和用户隐私，在提供安全可信的产品的同时，提供可配置的软件产品帮助客户保护其数据的机密性、完整性和可用性。瓴羊竭诚为客户提供稳定、可靠、安全、合规的数字化产品及数智服务，帮助客户保护其系统及数据的机密...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
产品概述
应用场景 全密态数据库的长期目标是设计和研发 以数据机密性和完整性为原生能力 的新型数据库架构及系统产品。通过相应的设计优化和架构调整，在引入安全能力的同时，仍然保障数据库系统的高性能、高稳定和低成本。针对不同业务场景所面临...
产品概述
应用场景 全密态数据库的长期目标是设计和研发 以数据机密性和完整性为原生能力 的新型数据库架构及系统产品。通过相应的设计优化和架构调整，在引入安全能力的同时，仍然保障数据库系统的高性能、高稳定和低成本。针对不同业务场景所面临...
产品概述
应用场景 全密态数据库的长期目标是设计和研发 以数据机密性和完整性为原生能力 的新型数据库架构及系统产品。通过相应的设计优化和架构调整，在引入安全能力的同时，仍然保障数据库系统的高性能、高稳定和低成本。针对不同业务场景所面临...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
产品安全能力
SSL在传输层对网络连接进行加密，能提升通信数据的安全性和完整性。您可以启用SSL加密，并安装SSL CA证书到需要的应用服务。更多关于SSL加密的信息和配置介绍，请参见 设置SSL加密。数据安全 PolarDB 的透明数据加密TDE（Transparent Data ...
概述
应用场景 全密态云数据库的长期目标是设计和研发 以数据机密性和完整性为原生能力 的新型数据库架构及系统产品。通过相应的设计优化和架构调整，在引入安全能力的同时，仍然保障数据库系统的高性能、高稳定和低成本。针对不同业务场景所...
如何恢复数据到其它数据库实例
连接方式 选择连接方式，当前支持：非加密连接 SSL安全连接：SSL（Secure Sockets Layer）能在传输层对网络连接进行加密，提升通信数据的安全性和完整性，但会增加网络连接响应时间。选择 SSL安全连接 前，请先在RDS实例中开启SSL，更多...
设计阶段
结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最实际的设计工作。设计完毕后，最终将产出供开发人员参照实施开发的ETL设计文档、数据探查文档、调度设计文档...
常见问题
A：这是因为主表和索引表的冷数据归档过程是独立的，并且归档主表和索引表冷数据的操作是周期性触发的，导致了主表和索引表滞留在热存储的数据不一致，进而出现查询到的冷数据不一致的现象。您可以在查询条件中添加热数据的时间范围，避免...
他云/自建数据库录入
SSL（Secure Sockets Layer）能在传输层对网络连接进行加密，提升通信数据的安全性和完整性，但会增加网络连接响应时间。实例DBA 选择一个DBA角色进行后续权限申请等流程。查询超时时间（s）设定安全策略，当达到设定的时间后，SQL窗口执行...
RDS MySQL或自建MySQL逻辑备份
连接方式 选择连接方式，当前支持：非加密连接 SSL安全连接：SSL（Secure Sockets Layer）能在传输层对网络连接进行加密，提升通信数据的安全性和完整性，但会增加网络连接响应时间。说明 选择 SSL安全连接 前，请先在RDS实例中开启SSL。更...
文档修订记录
使用MaxCompute独享Tunnel进行数据同步 2023.4.19 新增功能 数据集成 以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。EMR Hive数据整库离线同步至MaxCompute 2023.4...
下载数据备份和日志备份
A：主要区别在于下载的备份集是完整数据还是部分数据：实例备份下载：下载对象为整个备份集的数据（整个实例数据或手动备份的单库数据，具体以备份集详情数据为准），可以将对应备份集的数据下载到本地。单库备份下载：全量单库级物理备份...
数据风险点监控
为确保数据完整性，每天任务通常都是0点开始执行，计算前一天的数据。这些任务大多在深夜运行，要确保数据按时产出，需要考虑任务的执行优先级以及任务执行失败或时间过长时的报警问题。任务优先级 MaxCompute平台上任务优先级都一样，无法...
查看与减少数据备份
减少数据备份 通过减少数据备份，会减少您的备份费用，但同时也会降低您的备份数据连续性或完整性。为了避免影响您的数据恢复业务，建议您按照合理的频次进行数据的完整备份。说明 减少数据备份的操作只针对在DBS控制台创建的备份计划和在...
系统账号说明
该账号具有 sysadmin 高级权限，以确保DTS服务能够获取到足够的权限来拉取源数据库的所有数据（例如Binlog等），保证数据迁移或同步的完整性和一致性。相关操作，请参见 数据迁移与同步。账号位置与用途：该账号仅在源端RDS SQL Server实例...
技术面临的挑战与革新
同时存储计算分离架构在扩展存储时因为不再是记录级别的迁移，不需要过多考虑数据库系统诸如事务完整性、一致性等问题，过程中耗费的计算资源相比share nothing架构的数据库系统大幅下降。可以说存储计算分离是云时代数据库产品的事实主流...
创建ClickHouse数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
创建ClickHouse数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
购买数据安全中心
基础版：对云上数据（包括RDS、OSS等）进行安全防护，识别敏感数据、自动对敏感数据分类分级，并提供针对性的数据泄漏风险检测和告警。重要 DSC 不支持重复开通版本服务，即当您购买某版本后，不能再次购买其他任何版本。您只能升级当前...
数据查询与分析管控
DataWorks版本 下载数据条数上限（条）基础版 0 标准版 200,000 专业版 2000,000 企业版 5000,000 说明 版本降级时，可下载的数据条数上限值变化如下：如降级前的下载数据条数上限值，超过了降级后的下载数据条数最大值，则可下载的数据条...
- 产品推荐
- 这些文档可能帮助您