Napatech案例
Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大的挑战。增加过多的节点会带来极大的成本开销及管理复杂...
DBS沙箱功能概览
背景信息 在海量数据场景下，传统数据库备份服务面临两大越来越严重的困难：存储成本：为了保障数据恢复点目标（Recovery Point Objective，RPO），周期性的全量和增量备份产生大量重复数据，导致存储成本过高。使用成本：您必须待数据完成...
功能特性
设置过滤条件 数据类型映射 在进行异构数据库之间的数据同步或迁移时，会在结构同步或迁移阶段进行数据类型映射，即将源库中的数据类型转为目标库支持的数据类型。结构初始化涉及的数据类型映射关系 异构数据库间的数据类型映射关系 数据...
Redis企业版实例间的双向同步
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 无 当源、目标库无法连接时，DTS默认...
Redis企业版实例间的双向同步
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 无 当源、目标库无法连接时，DTS默认...
从ECS上的自建Redis同步至Redis实例
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
从腾讯云MySQL迁移至阿里云
说明 Online DDL变更产生的临时表数据过大，可能会导致迁移任务延迟。否，适配DMS Online DDL：不迁移Online DDL变更产生的临时表数据，只迁移源库使用 数据管理DMS（Data Management）执行的原始DDL数据。说明 该方案会导致目标库锁表。否...
从自建MySQL迁移至RDS实例
说明 Online DDL变更产生的临时表数据过大，可能会导致迁移任务延迟。否：不迁移Online DDL变更产生的临时表数据，只迁移源库的原始DDL数据。说明 该方案会导致目标库锁表。上述配置完成后，单击页面右下角的 预检查并启动。说明 在迁移...
PolarDB MySQL版间的双向同步
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 无 当源、目标库无法连接时，DTS默认...
三节点企业版的RDS MySQL迁移到PolarDB-X 2.0标准版
说明 Online DDL变更产生的临时表数据过大，可能会导致迁移任务延迟。否：不迁移Online DDL变更产生的临时表数据，只迁移源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 在迁移任务启动后，若源库或目标库...
从沙箱实例迁移至RDS MySQL
说明 Online DDL变更产生的临时表数据过大，可能会导致迁移任务延迟。否，适配DMS Online DDL：不迁移Online DDL变更产生的临时表数据，只迁移源库使用 数据管理DMS（Data Management）执行的原始DDL数据。说明 该方案会导致目标库锁表。否...
百度智能云云数据库RDS MySQL迁移到阿里云
说明 Online DDL变更产生的临时表数据过大，可能会导致迁移任务延迟。否，适配DMS Online DDL：不迁移Online DDL变更产生的临时表数据，只迁移源库使用 数据管理DMS（Data Management）执行的原始DDL数据。说明 该方案会导致目标库锁表。否...
Google Cloud SQL for MySQL数据库迁移到阿里云
说明 Online DDL变更产生的临时表数据过大，可能会导致迁移任务延迟。否，适配DMS Online DDL：不迁移Online DDL变更产生的临时表数据，只迁移源库使用 数据管理DMS（Data Management）执行的原始DDL数据。说明 该方案会导致目标库锁表。否...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
前提条件 已创建目标 云原生数据仓库AnalyticDB MySQL 集群，详情请参见 创建 云原生数据仓库AnalyticDB MySQL（2.0）或 创建 云原生数据仓库AnalyticDB MySQL（3.0）。确保目标 云原生数据仓库AnalyticDB MySQL 具备充足的存储空间。...
MySQL实例间的双向同步
前提条件 数据同步的源和目标RDS MySQL实例已存在，如不存在请 创建RDS实例。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源...
从ECS上的Codis集群同步至Redis实例
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
从ECS上的Twemproxy Redis集群同步至Redis实例
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
从ECS上的Twemproxy Redis集群同步至Redis实例
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
从ECS上的Codis集群同步至Redis实例
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
前提条件 已创建目标 云原生数据仓库AnalyticDB MySQL 集群，详情请参见 创建 云原生数据仓库AnalyticDB MySQL（2.0）或 创建 云原生数据仓库AnalyticDB MySQL（3.0）。确保目标 云原生数据仓库AnalyticDB MySQL 具备充足的存储空间。...
从RDS同步到云原生数据仓库AnalyticDB MySQL
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
如何处理Tair集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
如何处理Redis集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
典型慢查询
如果没有指定Join条件，AnalyticDB MySQL 会对左右两表执行笛卡尔积运算，产生的数据量行数是左右两表数据行数的乘积，该类操作会导致消耗较大的CPU资源。消耗磁盘I/O的慢查询 查询的扫描行数（Scanned Rows）和扫描量（Amount of Scanned ...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
表设计最佳实践
通过DataHub执行数据归档，DataHub的每个Shard写入MaxCompute时存在条件限制，即数据总量达到64 MB就Commit 1次，或每隔5分钟Commit 1次，形成1个文件。当开启的Shard数过多（例如20个Shard）时，每个Shard数据在5分钟内都远达不到64 MB...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
- 产品推荐
- 这些文档可能帮助您