大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
全增量同步任务运维
您可以单击 操作 列 更多>修改配置，进入任务配置界面进行增加或删除表，配置完成后，您可以单击 提交执行，提交执行任务时，会和上一次运行成功的任务对应的表做对比，当发现新增表时则会执行新增表的添加流程。详情请参见：增加或删除已...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
数据库代理常见问题
数据库代理地址的前缀和端口都可以修改，具体操作，请参见 设置数据库代理连接地址。数据库代理对用户的连接数有限制吗？支持多少并发连接？数据库代理本身并没有最大连接数的限制，连接数的限制是由数据库中计算节点的规格决定。当前数据...
概述
每次保存时，一级备份并没有真正复制数据，当数据块有修改时系统会将其中一个历史版本的数据块保留给快照，同时生成新的数据块被原数据引用（Redirect）。因此无论数据库容量多少，都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
概述
每次保存时，一级备份并没有真正复制数据，当数据块有修改时系统会将其中一个历史版本的数据块保留给快照，同时生成新的数据块被原数据引用（Redirect）。因此无论数据库容量多少，都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
什么是云数据库MongoDB版
数据库（Database）：等同于关系型数据库中的数据库概念，一个数据库中可以包含多个集合。您可以在MongoDB中创建多个数据库。为什么选择云数据库MongoDB版 详情请参见 产品优势 和 应用场景。学习路径 您可以通过 云数据库MongoDB版学习...
常见问题
Q：数据什么时候进入冷存储？A：Lindorm通过 compaction 机制异步将冷数据从热存储归档至冷存储，系统触发时间默认为冷热分界线的一半，最小为1天，最大为 major compaction 周期的一半，major compaction 周期默认为20天。例如，冷热分界...
概述
每次保存时，一级备份并没有真正复制数据，当数据块有修改时系统会将其中一个历史版本的数据块保留给快照，同时生成新的数据块被原数据引用（Redirect）。因此无论数据库容量多少，都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...
常见问题
Redis CSRF漏洞分析及云数据库Redis版安全措施介绍 云数据库Redis集群版与原生Redis集群版有什么区别？网络与连接 如何获取Redis实例的连接地址和实例ID 如何通过redis-cli连接Redis 云数据库Redis版支持Jedis等通用的Redis客户端吗？连接...
颜色映射
修改映射颜色：单击左侧色块，可以自定义修改当前分段的颜色。修改类型：自定义设置当前分段对应的类型字段。添加分段：单击右下角的 添加，可以添加一个新的分段。删除分段：单击当前分段右侧的 图标，可以删除当前分段。反序：单击 图标...
表设计规范
您可以通过拆表或者做分区来提升性能。数据集市层：数据将被按需保留1~3年。数据集市的数据比较容易生成，所以无需保留久远的历史数据。按数据变更规划数据的保存方式：记录客户属性、产品属性的历史变化情况，以便追溯某个时点的值。在...
数据变更最佳实践
写入报错时，需要做重试确保数据被写入，重试导致的数据重复可以通过表的主键来消除。更新数据 AnalyticDB MySQL版 提供多种数据更新方式，建议如下：数据更新频率高、基于主键的行级覆盖更新且应用可以补齐所有列，可通过 REPLACE INTO ...
垃圾回收机制
PolarDB PostgreSQL版（兼容Oracle）通过多版本来实现MVCC机制，当执行UPDATE和DELETE操作时会产生一个新的数据行版本，老的数据行版本会变成无效版本，这些无效版本数据会占用数据块的空间，需要及时进行清理，否则会导致数据的膨胀。...
管理缓存
缓存策略 客户端写新的数据块时，默认情况下会将其写入level0层存储。如果level0没有足够的可用空间，则会尝试下一层存储。如果在所有层上均未找到存储空间，Alluxio会释放空间来存储新写入的数据块。默认的释放策略是LRUAnnotator，按照...
SLS的OSS投递数据源
在 SLS的OSS投递数据源 页签，根据页面提示进行参数配置，配置说明如下：参数 说明 数据源配置 您可以通过以下两种方式选择数据源：自动发现：您无需做任何配置，自动发现所有Project的OSS投递，当有新的OSS投递设置时，在下一次执行时可以...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
MongoDB 6.0新特性概览
弹性 MongoDB 6.0在原有弹性的基础上，推出了如下新特性以及优化项：将数据块（Chunk）规格的默认值从64 MB调整为128 MB，有效降低了数据迁移频率以及网络和路由层的开销。支持 configureCollectionBalancing 命令，此命令支持的功能如下：...
冷热分层
更多介绍请参见 结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离 和 云上如何做冷热数据分离。冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至...
我是安全管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中...
添加数据源概述
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
快照概述
文件系统第一份快照是实际使用量的全量快照，不备份空数据块，后续创建的快照均是增量快照，只存储变化的数据块，详见 云盘快照的增量快照描述。快照主要功能如下 功能 说明 参考文档 创建快照 支持以下创建快照方式：手动快照：由您手动...
我是DBA
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念，目的是便于管理和应用数据。通常...
快速入门
也可以在 我的数据 页面内预览某个已上传的数据，并移动该数据到一个分组下，或者将该数据重新编辑名称或删除数据；还可以在页面右上角的搜索框内搜索某个数据或按不同方式对数据内容进行排序。详情请参见 数据页面管理。单击左侧的 空间...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...
敏感数据掩码
配置敏感数据掩码可以防止审计到的日志信息中包含敏感数据信息，使用掩码可以防止敏感信息在查询审计日志时泄露。本文介绍如何对审计到的客户敏感数据（例如：身份证号、银行卡号等）添加掩码“*”后再呈现。登录云盾数据库审计系统。具体...
快速入门
也可以在 我的数据 页面内预览某个已上传的数据，并移动该数据到一个分组下，或者将该数据重新编辑名称或删除数据；还可以在页面右上角的搜索框内搜索某个数据或按不同方式对数据内容进行排序。详情请参见 数据页面管理。单击左侧的 空间...
概述
其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能，...
我是普通用户
获取权限后，可以在 SQLConsole 中执行SQL，并可以做可视化查看结果集、编辑结果集等操作。详情请参见 SQL窗口、跨库查询。可对数据进行变更、执行导入导出等操作。详情请参见 数据变更、数据导出、数据导入。支持普通用户的功能总览 类目 ...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
外部数据
不管使用什么外部数据包装器，本数据库会要求外部数据包装器从外部数据源获取数据，或者在更新命令的情况下传送数据到外部数据源。访问远程数据可能需要在外部数据源的授权。这些信息通过一个用户映射提供，它基于当前的本数据库角色提供了...
数据传输服务（上传）场景与工具
本文为您介绍如何将数据上传至MaxCompute或从MaxCompute下载数据，包括服务连接、SDK、工具和数据导入导出、上云等常见操作。背景信息 MaxCompute提供了多种数据上传下载的通道支持，方便您在各种场景下进行技术方案选型时参考。批量数据...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
- 产品推荐
- 这些文档可能帮助您