手动下载备份集
当您需要将备份集恢复到本地数据库、进行Excel分析与审计、或备份到本地存储时，您可手动下载备份集。本文向您介绍手动下载备份集的操作步骤。功能限制与格式说明 说明 为确保备份集的顺利下载，下载前请先留意目标备份集的有效期。考虑到...
功能特性
OSS数据源 一键入湖 通过DLA控制台配置数据源（RDS数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表...
恢复Oracle物理备份
登录 DBS控制台，在 备份计划>备份计划列表 页面单击备份计划名称，在 备份任务>全量数据备份 页面中查看全量数据集的大小，详情请参见 查看备份计划。数据库程序目录 填入 ORACLE_HOME 的绝对路径。数据跨境合规承诺 阅读并勾选合规承诺。...
大数据AI公共数据集分析
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
数据导入方式
DataWorks是阿里云推出的全链路大数据开发治理平台，融合了数据集成、数据开发、数据运维等多种功能。Lindorm宽表引擎支持通过DataWorks配置导入任务，将MySQL、PolarDB、PostgreSQL、Oracle、SQL Server和Cassandra中的数据 全量导入 至...
概述
静态脱敏 将生产库的全量数据导入至一个镜像数据库中，同时在导数据的过程中对敏感数据进行加密或脱敏。应用程序访问的不是真正的生产库而是镜像库，因此脱敏过程完全不会影响正常业务对生产库的使用。需要在数据导入的工具中开发一套修改...
通过MySQL分析实例同步至数仓版
此时，您可以在RDS MySQL控制台上创建一个MySQL分析实例，MySQL分析实例的复杂分析性能约为MySQL的100倍，系统自动通过DTS将RDS MySQL主实例中的全量数据和增量数据实时同步到MySQL分析实例中。您无需关注数据如何入库，无需担心分析卡顿，...
恢复MySQL物理备份
登录 DBS控制台，在 备份计划>备份计划列表 页面单击备份计划名称，在 备份任务>全量数据备份 页面中查看全量数据集的大小，详情请参见 查看备份计划。在 配置恢复对象 页面，单击 恢复整个实例，并单击页面右下角的 预检查并启动。说明 ...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
项目空间操作
升级为新的实现后，当PARQUET小文件很多且数据列数很多时可能会导致数据源访问次数增加，创建表时可以配合 with serdeproperties属性：parquet.file.cache.size 和 parquet.io.buffer.size 参数来增加每次访问数据源缓存的数据量。...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
库表级恢复
数据库备份DBS 支持表级别的数据恢复能力。当发生数据误删除时，您可以选择只对单个表或数据库进行恢复，而无需恢复全部数据，可用于误操作后的快速订正，以及分析历史数据等场景。功能介绍 数据库备份DBS 在执行逻辑备份时，以数据库对象...
库表级恢复
数据库备份DBS 支持表级别的数据恢复能力。当发生数据误删除时，您可以选择只对单个表或数据库进行恢复，而无需恢复全部数据，可用于误操作后的快速订正，以及分析历史数据等场景。功能介绍 数据库备份DBS 在执行逻辑备份时，以数据库对象...
分析实例简介
分析实例的复杂分析性能约为RDS MySQL实例的100倍，系统会自动将RDS MySQL主实例中的全量数据和增量数据实时同步到分析实例中。您无需关注数据如何入库，无需担心分析卡顿，系统自动帮您搭建分析实例，真正实现在线业务库和分析库全面隔离...
什么是EMR Serverless StarRocks
EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多增强功能与服务优势。StarRocks...
从自建SQL Server全量迁移至RDS SQL Server
DTS支持结构迁移、全量数据迁移和增量数据迁移，同时使用结构迁移和全量数据迁移可以实现自建SQL Server数据库的全量数据迁移。说明 如果要实现不停机迁移，请参见 从自建SQL Server增量迁移至RDS SQL Server。前提条件 自建SQL Server数据...
审批设置
一键开启审批电子流开关后，组织管理员可以配置该组织下的数据作品内容是否有申请权限的入口，也可以配置审批电子流的渠道和默认审批人。使用限制 仅专业版支持配置审批权限。功能入口 权限管理员登录 Quick BI控制台，按照下图指引，赋予...
FTP Check节点
为了保证DataWorks成功读取完整的外部数据库的数据，此时，可以让其他调度系统在数据库中的数据写入任务完成后，在指定文件系统中进行文件标记（例如，生成一个.done 文件），表明该任务已完成。然后在DataWorks中配置一个FTP Check节点，...
使用DMS数据追踪进行恢复
数据追踪与其他恢复方案的区别 恢复方案 恢复原理 费用 恢复速度 恢复范围 数据追踪 按需追踪到目标时间段内的相关更新，汇总生成逆向的回滚语句，并通过 数据变更 工单最终执行到数据库中完成数据的恢复。管控模式为自由操作，无费用。...
使用冷存储
背景信息 用户可以在购买云HBase实例时选择冷存储作为一个附加的存储空间，并通过建表语句指定将冷数据存放在冷存储介质上面，同时HBase增强版还基于冷存储实现了在同一张表内的冷热分离功能，能够自动将表中热数据放到读写速度快的热存储...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
使用DTS将MongoDB Atlas数据库迁移至阿里云
迁移类型说明 迁移类型 说明 全量数据迁移 将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持迁移database、collection和index。增量数据迁移 在全量迁移的基础上，将源MongoDB数据库的增量更新数据同步到目标...
使用DTS将MongoDB Atlas数据库迁移至阿里云
迁移类型说明 迁移类型 说明 全量数据迁移 将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持迁移database、collection和index。增量数据迁移 在全量迁移的基础上，将源MongoDB数据库的增量更新数据同步到目标...
性能测试工具-图形工具
HBase控制台 的 数据库连接 页面，在 连接信息 区域可查看 Java API访问地址。如果AHBench-jenkins部署在同VPC的ECS上，请使用专有网络地址，否则请申请并使用外网地址。username 访问HBase增强版实例的数据库用户。请确认该用户具有全局...
常见问题
数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及PolarDB数据库等，实现...
MySQL实例间的双向同步
同步源数据库 同步目的数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
使用SDK示例代码消费订阅数据
完成数据订阅通道的配置后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍该示例代码的使用说明。操作步骤 重要 若数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤请参见 使用SDK示例代码消费PolarDB-X 1.0...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
从自建SQL Server增量迁移至RDS SQL Server
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
Java SDK常见问题
本文为您介绍Java SDK的常见问题。问题类别 常见问题 SDK咨询 如何下载Java SDK包？如何通过MaxCompute Java SDK设置SQL的Flag？如何使用Logview排查Java SDK报错？如何在MaxCompute的Java业务代码中执行SQL作业？使用SQLTask执行SQL查询时...
使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云
费用说明 迁移类型 链路配置费用 公网流量费用 全量数据迁移 不收费 不收费 迁移类型说明 全量数据迁移：将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持database、collection、index的迁移。迁移权限要求 ...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，便可以实现MaxCompute SQL对其他脚本语言的支持。功能...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，即可实现MaxCompute SQL对其他脚本语言的支持。功能...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
- 产品推荐
- 这些文档可能帮助您