备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
使用MaxCompute控制台（离线）
选择待上传数据及存放该数据的目标表后，您可预览数据详情，并配置数据所在文件的列与目标表字段的映射关系，配置后相关数据才可被成功上传，配置方式如下。说明 目前仅支持预览前20条数据。类别 参数名 描述 上传文件数据预览 文件编码 若...
数据库管理
当TTL被设置后，时序数据的时间戳距当前的时间差超过了TTL的时间，则这些数据将被视作过期数据，会被时序引擎清除掉。重要 时序领域的数据的时间戳一般分成两种概念：事件时间：即时序数据对应的事件真实发生时的时间。时序数据元素说明 中...
限制说明
数据过期策略 和开源 Memcached 策略一致，采用 LRU 算法过期数据，但已过期数据不会被立即删除回收空间，回收空间操作由后台程序定期执行。连接处理 云数据库 Memcache 版服务端不会主动关闭空闲的客户端连接。数据过期 Key 过期时间建议...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
导入数据
导入方式包括：Insert：在主键相同的情况下，后导入的数据会被忽略。Replace：在主键相同的情况下，后导入的数据会覆盖前面导入的数据。Update：在主键相同的情况下，后导入的数据会覆盖前面导入的数据，但未映射字段不会更新。单击 确定，...
导入数据
导入方式包括：Insert：在主键相同的情况下，后导入的数据会被忽略。Replace：在主键相同的情况下，后导入的数据会覆盖前面导入的数据。Update：在主键相同的情况下，后导入的数据会覆盖前面导入的数据，但未映射字段不会更新。单击 确定，...
实时数据订阅概述
Pull模式：您可以使用开源的Kafka客户端直接订阅数据，服务端会暂时保存数据，您需要对保存的数据设置一个过期时间，如果超过这个时间数据会被删除。具体操作请参见 通过Pull模式创建数据订阅通道。Push模式：云原生多模数据库 Lindorm ...
备份恢复概览
备份原理 OceanBase 数据库采用了读写分离架构，其内部数据按存储方式被细分为两大类：一类是基于 SSTable 格式的基线数据，另一类则是基于 MemTable 格式的增量数据。基线数据代表了已整合并持久化到硬盘的全部数据总和，它被智能地分割为...
资产大盘
类目：指数据资产被归属在哪个资产类目下。详细信息，请参见 资产类目。您可以在分布占比图表区域进行如下操作：将鼠标悬浮在图表或图例上可查看具体数量。单击图例可以使其隐藏或显示。查看数据资产的详细信息 您可以在控制台顶部菜单栏中...
数据库克隆
覆盖重名对象：目标重名对象的结构和数据都会被源库中的对象所替换。迁移附加选项 除了表以外，您还可选择对数据库中的可编程对象进行同步克隆。可编程对象包括：视图、存储过程、函数、触发器 和 事件。时间选项 选择工单任务执行的时间。...
数据迁移方案概览
如果在配置数据迁移任务时，仅选择了结构迁移和全量数据迁移，那么在迁移过程中，源库的新增数据不会被迁移至目标库。重要 为保障数据一致性，迁移期间请勿在源库中写入新的数据。如需实现不停机迁移，您需要在配置数据迁移任务时，同时...
访问控制
DMS新推出的元数据访问控制功能将进一步加强企业的数据安全管控，该功能开启后可实现指定用户仅允许查看和访问已被授权的数据库，也可保障指定数据库仅允许被已授权的用户查看和访问。说明 在DMS中，数据库级别的权限有查询、导出、变更，...
产品架构
在全量数据迁移阶段，增量数据会被解析、重新格式化并存储在本地DTS服务器上。增量数据迁移：当全量数据迁移完成后，DTS会检索本地存储的增量数据，重新格式化，并将数据更新应用到目标数据库中。此过程将持续下去，直到所有正在进行的数据...
管理敏感数据
说明 开通免费试用后，系统会根据您提供的用户名和密码抽取目标数据库中的元数据和少量随机数据用于敏感数据分析，这些数据不会被存储和修改。您可以在页面中查看到数据库相关信息和数据库中敏感数据的扫描结果。如需对扫描出来的敏感数据...
伪类型
伪类型 名字 描述 any 表示一个函数可以接受任意输入数据类型 anyelement 表示一个函数可以接受任意数据类型 anyarray 表示一个函数可以接受任意数组数据类型 anynonarray 表示一个函数可以接受任意非数组数据类型 anyenum 表示一个函数...
全球数据库市场发展与机遇
Gartner预测，随着数据库被越来越多的用于数据分析及SaaS(Software-as-a-Service)模型，到2022年，预计将有75%的数据库天然部署或迁移至云平台。数据库上云将成为未来数据库的发展趋势。在国产云数据库中，阿里云通过持续的技术研发创新。...
基本概念
如果您在配置数据迁移任务时，仅选择了结构迁移和全量数据迁移，那么在迁移过程中，源库的新增数据不会被迁移至目标库。所以为保障数据一致性，迁移期间请勿在源库中写入新的数据。说明 为保证数据一致性，建议迁移期间不要往源数据库中...
元数据访问控制
说明 在DMS中，数据库级别的权限有 查询、导出、变更，若某用户有其中任意一种权限即被视为已授权该数据库，可在DMS中获取到如下信息：查看该数据库（包括实例左侧导航栏、顶部搜索栏、权限申请搜索栏等），能否查询该库的数据取决于是否...
DBS沙箱功能概览
典型应用场景 基于线上数据的开发测试（Dev或Ops）：测试和预发布需要基于线上存量数据验证，但又必须保护线上数据不被污染。DBS沙箱功能可以快速提供历史全量数据副本，同时满足快速测试迭代和数据可靠性保障需求。在线应急容灾：基于DBS...
生成测试数据
ODC 支持如下处理方式：忽略：默认为忽略，若数据有冲突则冲突数据不被插入。覆盖：若数据有冲突则删除原数据插入新数据。终止：若数据有冲突则停止生成数据终止整个模拟数据任务。规则设置 设置数据生成规则。在 规则 和 细则 列中对选择...
产品计费
重要 历史数据已被清理，无法恢复。企业版 V2 欠费时间 DAS企业版状态 恢复办法 欠费时间小于等于24小时。停止采集新数据。不清理历史数据，并且按照每小时进行计费。为欠费账号充值，DAS企业版恢复正常，恢复采集新数据。欠费时间大于24...
多账号统一管理
便于企业有效地执行数据安全管理任务，如自动发现敏感数据、数据分类分级、以及对潜在安全威胁的监测和报警。本文介绍如何使用多账号统一管理功能。使用须知 使用多账号统一管理功能的阿里云账号和被管理的阿里云账号必须同属于一个资源...
创建RDS MySQL数据订阅通道
注意事项 由于使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更不会被订阅到，客户端在将消费到的数据写入目标表时可能会因为表结构不一致而导致写入失败。如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
实例间的数据库复制
如果数据复制期间源实例不停写，增量数据不会被复制到目标实例。您可以选择单库复制或全库复制，且整个复制操作要么全部成功，要么全部失败，保证数据的一致性。RDS数据库复制功能与DTS迁移功能的区别 区别项 RDS数据库复制功能 DTS迁移...
数据建模
示例 创建一个名为DB5的数据库，设置冷热存储分界线为30天，即30天之前的数据会被转移到冷存储。CREATE DATABASE DB5 WITH(cold_boundary=30);对于已经创建的数据库，可以通过修改数据库参数 cold_boundary 的方式设置冷热存储分界线。...
CREATE DATABASE
默认情况下，新数据库将通过克隆标准系统数据库 template1 被创建。可以通过写 TEMPLATE name 指定一个不同的模板。特别地，通过写 TEMPLATE template0 你可以创建一个原始的数据库（其中没有用户定义的对象存在并且系统对象没有被更改），...
数据模型
数据时效（TTL）数据时效是指数据保存有效期，超过有效期的数据会被自动清理，默认数据有效期为永久保存。场景示例 某风力电厂包含一系列的智能风力发电机设备，创建名为 Wind-generators 的table来存储所有设备的信息，设备由 ID、型号、...
数据源管理常见问题
说明 如果接口数据需要被所有网站使用，您可以使用通配符*。数据库类问题 如何配置数据库数据源？在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源...
数据源管理常见问题
说明 如果接口数据需要被所有网站使用，您可以使用通配符*。数据库类问题 如何配置数据库数据源？在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
概述
每次保存时，一级备份并没有真正复制数据，当数据块有修改时系统会将其中一个历史版本的数据块保留给快照，同时生成新的数据块被原数据引用（Redirect）。因此无论数据库容量多少，都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...
通过RAM角色授权模式配置数据源
DataWorks支持您使用更高安全系数的 RAM角色授权模式 配置并访问OSS、AnalyticDB for MySQL 2.0、LogHub、Tablestore和Hologres等部分数据源，以提升云上数据的安全性，避免数据源被滥用、密钥泄露等情况。数据源的访问模式包括RAM角色授权...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
常见问题
如果一行数据未写入时间，那么这行数据会被保留在热存储区。Q：对于按时间戳冷热分离，冷数据更新后还是冷数据吗？A：不是。由于更新后的数据重新记录了时间戳，因此冷数据更新后变为热数据。Q：我只想查询热数据，为什么还返回了冷数据？A...
常见问题
（自动生成是指配置cleanup=true执行同步任务）向ES写入数据时，会做一次无用户名的提交，但仍需验证用户名，导致提交失败，因此提交的所有请求数据都被记录，导致审计日志每天都会有很多，如何处理？Elasticsearch writer配置了Settings，...
数据归档至用户OSS
如果您开启了后置行为，源表已归档数据会被清理，同时在源数据库中生成备份临时表。清理备份临时表：通过新建普通数据变更工单，清理数据库中的备份临时表。新建普通数据变更工单，请参见 普通数据变更。说明 在数据归档工单详情页的最下方...
导入概述
此处的有效数据不包括由于类型转换错误等数据质量问题而被过滤的数据。MySQL和HTTP协议 StarRocks提供MySQL协议和HTTP协议两种访问协议接口来提交作业。Broker Load Broker导入，即通过部署的Broker程序读取外部数据源（例如HDFS）中的数据...
概述
例如：个人识别数据（PII）、基因等隐私数据在被第三方管理过程中，要满足全程加密的合规要求。数据安全共享场景：您可以通过控制密钥的所有权，管理数据使用权和数据访问的频次，实现数据安全共享，避免数据泄露。场景如下图所示：版本...
- 产品推荐
- 这些文档可能帮助您