PolarDB MySQL版迁移至RDS MySQL
说明 Online DDL变更产生的临时表数据过大，可能会导致迁移任务延迟。否，适配DMS Online DDL：不迁移Online DDL变更产生的临时表数据，只迁移源库使用 数据管理DMS（Data Management）执行的原始DDL数据。说明 该方案会导致目标库锁表。否...
RDS MySQL实例间的迁移
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
RDS MySQL迁移至PolarDB MySQL版
通过数据传输服务DTS（Data Transmission Service），可以帮助您将MySQL迁移至 PolarDB MySQL版 集群。支持的源数据库 MySQL迁移至 PolarDB MySQL版 集群，支持源数据库MySQL为以下类型。...说明 Online DDL变更产生的临时表数据过大，...
离线同步常见问题
可能原因1：执行时间过长 前置语句或后置语句（例如：preSql和postSql）在数据库执行耗时过长，导致任务运行慢。未合理配置切分键，导致任务运行慢。离线同步会根据切分键（splitPk）来对进行数据分片，数据同步根据此配置启动并发任务进行...
冷热分离
云数据库HBase增强版支持冷热分离功能，可以将冷热数据存储在不同的介质中，有效提升热数据的查询效率，同时降低数据存储成本。背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
ListDoctorHiveTables-批量获取Hive表分析结果
Day growth count of empty files HotDataDayGrowthSize object 热数据的数据量日增量大小。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataDayGrowthSize Value long 指标值。203431 Unit string 指标单位。MB ...
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
Day growth ratio of empty files HotDataSizeDayGrowthRatio object 热数据的数据量大小日环比。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataSizeDayGrowthRatio Value float 指标值。0.1114 Unit string 指标单位。...
配置跨库Spark SQL节点
系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会再提交Spark任务。此时，您需要手动运行成功该任务节点。应用场景...
GetDoctorHDFSCluster-获取HDFS分析结果
Day growth ratio of empty files HotDataSizeDayGrowthRatio object 热数据的数据量大小日环比。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataSizeDayGrowthRatio Value float 指标值。0.1114 Unit string 指标单位。...
GetDoctorHiveTable-获取Hive表分析结果
Day growth ratio of empty files HotDataSizeDayGrowthRatio object 热数据的数据量大小日环比。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataSizeDayGrowthRatio Value float 指标值。0.01 Unit string 指标单位。...
GetDoctorHDFSDirectory-获取HDFS特定目录分析结果
Day growth ratio of empty files HotDataSizeDayGrowthRatio object 热数据的数据量大小日环比。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataSizeDayGrowthRatio Value float 指标值。0.1114 Unit string 指标单位。...
GetDoctorHiveDatabase-获取Hive库信息
Day growth ratio of empty files HotDataSizeDayGrowthRatio object 热数据的数据量大小日环比。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataSizeDayGrowthRatio Value float 指标值。0.5 Unit string 指标单位。...
ListDoctorHiveDatabases-批量获取 Hive 库信息
Day growth ratio of empty files HotDataSizeDayGrowthRatio object 热数据的数据量大小日环比。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataSizeDayGrowthRatio Value float 指标值。0.5 Unit string 指标单位。...
GetDoctorHiveCluster-获取 Hive 集群信息
Day growth ratio of empty files HotDataSizeDayGrowthRatio object 热数据的数据量大小日环比。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataSizeDayGrowthRatio Value float 指标值。0.5 Unit string 指标单位。...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
数据导入性能优化
如果单条数据量过大达到数百KB，建议攒批数据大小不超过8 MB，可通过8 MB/单条数据量得到攒批条数。否则单批过大容易占用过多前端节点内存，影响导入性能。应用端并发配置 应用端导入数据时，建议多个并发同时导入数据。单进程无法完全利用...
数据导入性能优化
如果单条数据量过大达到数百KB，建议攒批数据大小不超过8 MB，可通过8 MB/单条数据量得到攒批条数。否则单批过大容易占用过多前端节点内存，影响导入性能。应用端并发配置 应用端导入数据时，建议多个并发同时导入数据。单进程无法完全利用...
管理过滤器
重要 过滤器调试功能可确保过滤代码的正确性，但不适用于数据量过大的情况。数据源和过滤器报错 数据源报错：在组件数据面板添加完数据过滤器后，如果将当前数据源切换成其他类型的数据源，会在数据面板展示下面两个错误，提示用户数据源...
管理过滤器
重要 过滤器调试功能可确保过滤代码的正确性，但不适用于数据量过大的情况。数据源和过滤器报错 数据源报错：在组件数据面板添加完过滤器后，如果将当前数据源切换成其他类型的数据源，会在错误信息处展示下面两个错误，提示用户数据接口有...
历史数据清理
当数据库出现存储空间不足、表数据量过大导致查询速度变慢等情况时，您可以使用数据管理DMS提供的历史数据清理功能，定期清理历史数据，以提高数据库查询性能和响应速度、避免因存储空间不足而导致数据库性能下降及历史数据堆积对生产环境...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
扩容热存储空间
云原生多模数据库 Lindorm 将 标准型云存储、性能型云存储、本地SSD盘 和 大数据型 作为热存储介质，其中 标准型云存储 和 性能型云存储 支持扩容存储空间。如果热存储空间剩余容量不足以支撑业务需求，建议您通过Lindorm管理控制台扩容热...
基本概念
因此，复制表中的数据量不宜过大，最好不超过2万行。由于复制表的变更会广播到集群的所有节点，确保所有节点的数据一致性，影响写入性能，因此不建议频繁增删改复制表的数据。EIU EIU，全称为Elastic IO Unit，中文名称为弹性IO资源，是 ...
常见问题
DTS同步链路规格默认为medium模式，源库的数据写入量过大时，若想达到规格同步性能上线，需要 升级实例配置。无主键表的主键选择可能会导致热点行更新，而热点行更新速度很慢，可以向ADB提工单解决该问题。当ADB集群的写入性能已达到瓶颈，...
大数据专家服务
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
RDS SQL Server空间不足问题
RDS SQL Server实例的空间使用率是日常需要重点关注的监控项之一，实例的存储空间不足，会导致严重后果，例如数据库无法写入、数据库无法备份、存储空间扩容任务耗时过长等。本文介绍如何查看空间使用情况以及排查空间问题。查看空间使用...
离线同步提速或限速
在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成支持了限速选项，您可根据业务合理配置该值。详情请参见：限制同步速度。数据同步速度的影响因素 数据同步速度受来源与...
功能特性
冷热数据分层存储 大规格分层存储 社区兼容版大存储型集群支持添加云盘和扩容磁盘。大规格分层存储 企业版共享存储OSS 共享存储 企业版采用存算分离架构，多节点共享一份存储。OSS存储 存储底层采用OSS，相比社区版存储单价大幅降低。企业...
权限自查建议
避免因为用户权限过大导致的数据安全风险。例如，按数据开发过程的业务分组进行账号分配。分组如管理组、数据集成组、数据模型组、算法组、分析组、运维组、安全组等。数据流动控制 限制部分项目的数据导出，控制部分人员的权限。数据随意...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
MongoDB数据恢复方案概览
如果您升级过数据库的大版本，旧版本的备份文件将无法恢复到新版本的数据库中。恢复数据时新建的实例默认为最新内核小版本。按时间点新建实例 副本集实例。分片集群实例。适用于多个库或整个实例的数据恢复场景，将数据还原至某个时间点。...
大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...
冷热分层
冷数据特点 数据量大：相对于热数据，冷数据通常需要保存较长时间，甚至永久保存。成本管控：数据量大且访问频率较低，不宜投入过多成本。性能要求低：相较于普通的TP请求查询，无需在毫秒级别返回。冷数据的查询可以接受数十秒甚至更长...
冷热数据分层存储
当热数据存储量达到业务使用阈值时，自动将当前热数据盘中占用空间最大的part数据文件移动到冷数据盘存储，从而释放热数据盘存储空间。TTL存储策略 在默认存储策略基础上，添加TTL语句，实现将间隔时间之前的所有数据自动转移到冷数据盘中...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
如何处理Tair集群数据倾斜
常见于在KKV（Key-key-value）类型的数据结构中，例如Hash、List、Set、Zset等，存放过多或过大的field，从而导致单个Key过大，产生实例数据倾斜。更多关于大Key的信息，请参见 发现并处理大Key和热Key。避免使用大Key。对大Key进行拆分，...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
- 产品推荐
- 这些文档可能帮助您