PolarDB PostgreSQL版（兼容Oracle）间的迁移
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
新零售：特步
解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线，通过垂直拆分剥离各业务中心，使不同类型的业务数据可以存储在不同的RDS上，确保资源和访问隔离，从物理上使整个数据库架构具备了扩展性。通过这套架构...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
通过DMS连接StarRocks实例
数据管理DMS（Data Management）是一款支撑数据全生命周期的一站式数据管理平台。您只需在DMS控制台录入StarRocks实例的相关信息，即可轻松实现通过图形化的Web界面对StarRocks实例的高效管控与深度运维，极大提升数据管理体验及操作效率。...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
C100售前支持相关问题
数据库全行为追溯：对RDS云数据库、ECS自建数据库、线下数据库的全量行为审计，有效实现数据库访问行为全追溯。数据库安全监控报警：实时监测数据库SQL注入、漏洞攻击、暴力破解及高危语句执行等危险行为并告警，帮助及时感知、排除数据库...
离线同步并发和限流之间的关系
问题二：为什么数据同步解决方案中的离线全量任务跑的慢，长时间任务处于Submit状态？数据源连接数限制功能，是指：目标端写入并发数：在实时数据同步任务内，向目标端写入数据的最大线程数。需要根据资源组大小和目标端实际规模合理设置。...
常见问题
数据迁移和数据同步的区别如下表所示：对比项 数据迁移 数据同步 适用场景 主要用于上云迁移，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云数据库。主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备...
行业趋势与背景
数据库系统是一切应用软件的数据处理及交换核心，是所有基础软件进行数据存储、查询、分析处理的中心。数据库系统运行性能是否高效稳定、接口语言是否通用，直接决定了上层应用能否给用户提供好的性能，同时直接影响开发人员效率。根据全球...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
常见问题
数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及PolarDB数据库等，实现...
RDS术语
C CPU使用率 指在一段时间内，系统中运行的程序、进程等所占用的CPU资源。D DAS Database Autonomy Service，数据库自治服务，是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库...
RDS术语
C CPU使用率 指在一段时间内，系统中运行的程序、进程等所占用的CPU资源。D DAS Database Autonomy Service，数据库自治服务，是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库...
RDS术语
C CPU使用率 指在一段时间内，系统中运行的程序、进程等所占用的CPU资源。D DAS Database Autonomy Service，数据库自治服务，是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库...
常见问题
为什么数据写入后不可见？为什么optimize任务很慢？为什么optimize后数据仍未主键合并？为什么optimize后数据TTL仍未生效？为什么optimize后更新删除操作没有生效？如何进行DDL增加列、删除列、修改列操作？为什么DDL执行慢，经常卡住？...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
使用DTS将MongoDB Atlas数据库迁移至阿里云
迁移类型说明 迁移类型 说明 全量数据迁移 将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持迁移database、collection和index。增量数据迁移 在全量迁移的基础上，将源MongoDB数据库的增量更新数据同步到目标...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
使用DTS将MongoDB Atlas数据库迁移至阿里云
迁移类型说明 迁移类型 说明 全量数据迁移 将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持迁移database、collection和index。增量数据迁移 在全量迁移的基础上，将源MongoDB数据库的增量更新数据同步到目标...
使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云
费用说明 迁移类型 链路配置费用 公网流量费用 全量数据迁移 不收费 不收费 迁移类型说明 全量数据迁移：将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持database、collection、index的迁移。迁移权限要求 ...
使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云
费用说明 迁移类型 链路配置费用 公网流量费用 全量数据迁移 不收费 不收费 迁移类型说明 全量数据迁移：将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持database、collection、index的迁移。迁移权限要求 ...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
功能特性
BI工具对接 数据传输迁移 MaxCompute提供多种渠道，以便从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。功能集 功能 功能描述 参考文档 上传数据 Tunnel（离线）MaxCompute的客户端...
版本发布记录
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
使用DTS将腾讯云MongoDB增量迁移至阿里云
DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成腾讯云MongoDB数据库的迁移。背景信息 当您因业务调整或需要使用阿里云MongoDB特性功能时，您可以使用DTS工具，通过 增量数据迁移 方法，...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
data_copy_concurrency 用于设置系统中并发执行的数据迁移复制任务的最大并发数。alter system set data_copy_concurrency=200;增量同步 在 选择迁移类型 页面，选中 增量同步，才会显示下述参数。参数 描述 写入并发配置 该参数用于配置...
使用DTS将腾讯云MongoDB增量迁移至阿里云
DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成腾讯云MongoDB数据库的迁移。背景信息 当您因业务调整或需要使用阿里云MongoDB特性功能时，您可以使用DTS工具，通过 增量数据迁移 方法，...
SmartData常见问题
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
PolarDB PostgreSQL版间的迁移
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中...
X-Engine简介
目前已经广泛应用在阿里集团内部诸多业务系统中，包括交易历史库、钉钉历史库等核心应用，大幅缩减了业务成本，同时也作为双十一大促的关键数据库技术，挺过了数百倍平时流量的冲击。重要 X-Engine引擎已进入下线阶段，详情参见【停售/下线...
- 产品推荐
- 这些文档可能帮助您