查看与减少数据备份
说明 如果当月全量备份数据量与增量备份数据量之和未超过每月备份数据量免费额度，则不额外收取备份费用，否则超出部分按量付费。更多信息，请参见 备份费用。如果使用了DBS内置存储，还将收取存储费用，更多信息，请参见 存储费用。备份...
Transaction Table2.0概述
如上图所示，如果使用单一的MaxCompute离线批量处理链路，有些场景需持续将用户分钟级增量数据和全量数据做合并处理和存储，产生冗余的计算和存储成本，也有场景需要将各种复杂的一些链路和处理逻辑转化成T+1的批次处理，极大增加链路复杂...
恢复Oracle物理备份
登录 DBS控制台，在 备份计划>备份计划列表 页面单击备份计划名称，在 备份任务>全量数据备份 页面中查看全量数据集的大小，详情请参见 查看备份计划。数据库程序目录 填入 ORACLE_HOME 的绝对路径。数据跨境合规承诺 阅读并勾选合规承诺。...
全量数据索引构建
全量数据构建 在HBase Shell中执行 build_external_index 为HBase表中的历史数据构建索引，该命令是异步执行的。重要 全量构建索引过程中，会阻塞HBase表的DDL操作，直到构建完成才能继续执行，但不会影响表的读写。hbase shell>build_...
全增量同步任务运维
全量补数据 该功能适用于MaxCompute目标表由于各种原因出现了数据缺失等正确性问题，需要重新同步全量数据补回全量数据的场景。说明 仅一键实时同步至MaxCompute任务支持全量补数据。全量补数据暂不支持分库分表同步任务。单击对应同步任务...
构建全量数据索引
对于宽表中的全量数据，需要手动执行全量构建索引才可以完成数据同步。本文介绍通过构建索引完成全量数据同步。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已通过开源客户端访问搜索索引并完成宽表和索引表的列映射配置文件，...
ListDoctorHiveTables-批量获取Hive表分析结果
Day growth count of empty files HotDataDayGrowthSize object 热数据的数据量日增量大小。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataDayGrowthSize Value long 指标值。203431 Unit string 指标单位。MB ...
查看历史任务
单击目标历史任务对应的 查看详情，页面将跳转至该任务的 全量数据迁移 页面。说明 每个历史任务均由一个数据迁移任务构成，您可以像管理数据迁移任务一样管理该历史任务，例如：查看数据迁移进度 查看全量迁移链路状态和性能 查看任务日志
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
聚合支付方案
分析型需求 随着数据量的增大，数据查询涉及的量级呈指数级上升，针对商户等大数据量场景的分析查询，单体MySQL已无法满足需求。解决方案 阿里云通过多款云数据库产品为利楚扫呗制定以下解决方案：方案解读：使用DRDS分库分表将数据库进行...
查看数据迁移项目的详情
全量校验 在全量数据迁移完成，增量数据迁移至目标端并与源端基本追平后，数据传输会自动发起一轮针对源库配置的数据表和目标表的全量数据校验任务。增量数据同步过程中，您也可以发起自定义的数据检验，数据传输会提供相应的接口。您可以...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
按应用关联
说明 工作组若有创建数据标准、数据源和全局变量，不区分创建方式，默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 应用 对应数据API上线时关联的应用。说明 全量新建、按应用新建、按线上API关联新建时获取到该关联项。...
topRegion分析
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...
流量诊断
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。实时查询热点Key 在左侧导航栏中，选择 流量诊断>topregion/key实时查询。设置筛选条件，包括排序维度、...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
mysqldump
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过mysqldump工具，可以将数据库的...使用mysqldump导出数据和表结构仅用于开发测试或者数据量很小的情况，请勿用于大数据量的生产环境。相关文档 mysqldump的详细信息请参见 mysqldump。
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
分区表常见问题
如：大租户的数据量多，但大租户少；中小租户多但数据量少；或者随时会新增小租户，无法在建表时全部枚举出来。在这种场景下，您可以在一张分区表中同时使用两种分区：大租户单独使用LIST分区，或多个大租户组合使用一个LIST分区。分区个数...
数据导入方式介绍
导入数据量大，且需长时间操作时，建议配置连接池，详情请参见 Druid连接池配置。应用导入支持批量导入和并发导入，以获得更高的导入性能。关于流式数据导入，请参见 Flink数据导入。关于非定制化本地数据导入，请参见 通过LOAD DATA导入至...
使用执行计划分析查询
诊断结果 单击执行计划树中某个Stage（如 Stage[1]），即可在右侧查看对应Stage的 诊断结果 详情，包括如下两类诊断：Stage诊断：这类诊断结果包含了对目标Stage诊断结果的详细说明，包括诊断出的问题（如存在较大的数据量被广播或数据倾斜...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
OSS数据安全防护最佳实践
扫描时长将由您所需扫描的数据量决定。更多信息，请参见 数据源授权完成后需要多长时间完成扫描。在 DSC 扫描数据的过程中，已经完成扫描的阶段性结果，会展现在 数据安全中心控制台 概览 页面。更多信息，请参见 控制台概览。在 敏感数据...
导入概述
StarRocks提供了多种导入方式，您可以根据数据量大小或导入频率等要求选择最适合自己业务需求的导入方式。StarRocks导入方式与各数据源关系图如下。您可以根据不同的数据来源选择不同的导入方式：离线数据导入：如果数据源是Hive或HDFS，...
数据归档概述
DMS会在DBS中创建一个备份计划，DBS会根据备份的数据量收取备份、存储等费用。费用请参见 DBS费用概述。说明 数据归档创建的DBS备份计划规格为xlarge。如果您想要查看归档后的数据，需要开通云原生数据湖分析DLA服务。费用请参见 计费概述...
配置跨库Spark SQL节点
系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会再提交Spark任务。此时，您需要手动运行成功该任务节点。应用场景...
数据倾斜诊断
复制分布方式通常只会用在数据量小的表中，如果数据量大的表使用复制分布方式，会导致数据急剧膨胀。哈希（HASH）分布 该分布方式会根据分布键HASH值将数据分布到各个计算节点上，该方式的关键在于如何选择分布键，分布键选择不正确时，...
数据膨胀诊断
如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic Collector进程的统计信息来进行诊断的，Statistic Collector在PostgreSQL Server发生Crash时统计信息会重置（极小概率发生）。如果您发现...
功能特性
通过Flink导入数据 通过Spark导入数据 云数据库 SelectDB 版支持通过Spark SelectDB Connector，利用Spark的分布式计算能力导入大批量数据。本文介绍使用Spark SelectDB Connector同步数据至云数据库 SelectDB 版的基本原理和使用方式。...
计费常见问题
SQL作业的费用计算方式为 输入数据量×复杂度×单价，因此在复杂度和单价不变情况下，输入数据量越大费用越高。MaxCompute作业跑失败了会收费吗？MaxCompute有两种计费模式：按量计费：如果作业是按照按量计费进行运行的，当运行失败后，...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
一键MaxCompute任务出错恢复
对于一键整库实时同步至MaxCompute任务，可以参看上文，执行 全量补数据将当前全量数据同步至历史分区。不支持按时间范围补历史数据。对于其他全增量同步任务，您需要手动 创建离线同步任务，补回历史数据。Merge任务的报错失败 失败后的...
RDS增量数据同步至MaxCompute
对持续更新的数据进行增量同步 根据数据仓库反映历史变化的特点，建议每天对人员表、订单表等会发生变化的数据进行全量同步，即每天保存的都是全量数据，方便您获取历史数据和当前数据。真实场景中因为某些特殊情况，需要每天只进行增量...
RDS增量数据同步至MaxCompute
对持续更新的数据进行增量同步 根据数据仓库反映历史变化的特点，建议每天对人员表、订单表等会发生变化的数据进行全量同步，即每天保存的都是全量数据，方便您获取历史数据和当前数据。真实场景中因为某些特殊情况，需要每天只进行增量...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
Query级别诊断结果
找到扫描数据量较大的表扫描算子后，您可以考虑如下方式进行调优：在查询中增加AND过滤条件。调整已有的过滤条件，减少过滤后的数据量。检查是否存在没有下推的过滤条件。若存在，请参见 过滤条件没有下推 中的建议进行优化。
- 产品推荐
- 这些文档可能帮助您