什么是云数据库HBase
云数据库HBase全面提供海量半结构/非结构化数据下的实时存储、高并发吞吐、轻SQL分析（参见 云原生多模数据库Lindorm）、全文检索（参见Lindorm产品）等能力，结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量场景下的...
mysqldump
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过mysqldump工具，可以将数据库的...使用mysqldump导出数据和表结构仅用于开发测试或者数据量很小的情况，请勿用于大数据量的生产环境。相关文档 mysqldump的详细信息请参见 mysqldump。
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据指的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.09 Unit ...
东软案例
多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本高等问题，东软急需新型运维大数据存储引擎支撑，来对运维系统存储引擎升级...
表设计规范
分区数量和数据量建议 建议单个分区中的数据量不要太大。应尽量避免分区数据倾斜，避免单个表不同分区的数据量差异超过100万。分区设计时应合理规划分区个数，较细粒度的分区在跨分区扫描时会影响SQL的执行性能。单个分区中数据量较大的...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
聚合支付：Ping+
业务痛点及诉求 Ping+支付业务数据量大，并发高，已有RDS MySQL实例无法满足性能及扩展需求。交易、订单表数据量巨大，单表数据量10亿级，需要拆库拆表以缓解数据库压力。历史存量数据存在RDS MySQL之上，希望迁移后的分布式数据库语法兼容...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
新零售：杭州数云信息技术有限公司
所属行业：新零售 网站地址：数云信息技术有限公司 公司介绍 杭州数云信息技术有限公司成立于2011年，伴随着电子商务、大数据应用和零售企业互联网化的趋势快速发展，目前已成为国内领先的数据化营销软件产品和服务提供商。数云致力于为...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
基本概念
您可以在创建集群时购买EIU，也可以在高吞吐写入或大数据量扫描时购买或扩容EIU。EIU的性能指标，请参见 弹性IO资源（EIU）扩容。ACU ACU，全称为AnalyticDB Compute Unit，是 AnalyticDB for MySQL 湖仓版（3.0）计算资源和存储资源的最小...
数据倾斜诊断
复制分布方式通常只会用在数据量小的表中，如果数据量大的表使用复制分布方式，会导致数据急剧膨胀。哈希（HASH）分布 该分布方式会根据分布键HASH值将数据分布到各个计算节点上，该方式的关键在于如何选择分布键，分布键选择不正确时，...
数据服务系统配置
指定redis实例：将缓存数据存储到指定的Redis，适用于大量API开启缓存，缓存数据量较大的场景。如需添加Redis实例，请参见 创建Redis数据源。重要 请勿删除作为API缓存数据的Redis实例，否则缓存数据存储将失败且API开启的缓存将失效。单击...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
DataCheckConfigure参数说明
fullCheckMaxReadBps Integer 每秒读取的最大数据量（Byte），取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。dataCheckNoticePhone String 全量或增量数据校验任务告警联系人的手机号。当校验任务触发告警时，将以短信的...
表设计最佳实践
拉链表的设计 在数据仓库的数据模型设计过程中，经常会遇到如下需求：数据量较大。表中的部分字段被更新。例如，用户的地址、产品的描述信息、订单的状态和手机号码等。需要查看某一个时间点或时间段的历史快照信息。例如，查看某一个订单...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
低成本RDS历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量呈大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：...
应用场景：低成本历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战 存储...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
测试数据构建
RDS MariaDB、其他来源MariaDB OceanBase MySQL模式 PolarDB PostgreSQL版（兼容Oracle）背景信息 功能测试或者性能测试时，往往需要准备测试数据，通常有以下几种方法：手工编写：效率低，不适用于大数据量场景。维护生成测试数据脚本：成...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
Serverless模式
对高吞吐写入场景和高性能跑批业务进行了设计优化，同时提供了弹性伸缩能力，适合业务数据量大、并具有典型的业务访问波峰波谷场景。在存储计算分离基础上，提供了数据共享功能，打破了物理机的边界，让云上的数据流动了起来。一存多读的...
SelectDB数据源
DataWorks数据集成支持使用SelectDB ...否 无 flushInterval 数据写入批次的时间间隔（单位：ms），如果 maxBatchRows 和 batchSize 参数设置的很大，则可能还未达到设置的数据量大小，系统就会根据写入的时间间隔执行数据导入。否 30000
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
实时同步常见问题
若业务延迟较大，其可能原因如下：报错现象 直接原因 解决方案 读端延迟大 源端数据量变更过多。延迟突然增大，说明某一时间点源端数据量增加。若源端数据更新快，数据量多，但同步延迟大，您可以：修改任务配置：您可以在源端数据库最大...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面...
X-Engine最佳实践
阿里巴巴集团图片空间是淘宝智能图片中心面向商家提供的免费图片存储管理服务，由于淘宝、天猫主站上累积的用户图片数据量非常大，图片空间业务也面临非常巨大的存储空间和写入性能压力，尤其每年双11之前，商家大量更新商品库存保有单位...
冷热分离介绍
背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，这些数据被访问的频率会逐渐降低，最终被搁置。减少这部分数据的存储成本，成为一个新的问题。为解决这一问题同时降低存储成本...
整库离线同步至Elasticsearch
您可以根据实际网络情况及数据量大小进行合理配置，减少不必要的网络开销。增量同步 仅当 方案选择 配置为 只增量一次性同步、周期性增量同步 或 全量一次性同步后周期增量 时，需要配置该参数。说明 您可以使用调度参数来指定同步源表及...
什么是数据库自治服务DAS
数据库的安全风险大 随着数据价值的提升，企业的数据面临着越来越多的内部或者外部的攻击，数据泄漏、数据丢失等问题层出不穷。未授权或者不可预期或者错误的数据库访问和使用。数据泄漏。数据损坏。黑客攻击。软硬件bugs，导致数据异常。...
功能简介
同时，随着数据量剧增，在海量数据中快速发现高质量的洞察报告，需要花费大量时间进行数据分析，从而才有可能提取有效知识。为了将业务人员从重复、无效的分析工作释放出来，并通过智能化的能力帮助业务管理者、运营、业务分析师等人员高效...
恢复SQL Server数据
为了获得更准确的备份和恢复性能，请参考最近一次全量备份的数据量和备份时间。在目标实例恢复全量备份 必须 200 GB/小时 无 在源实例进行增量事务日志备份 必须 200 GB/小时 进行增量日志备份前后，可能存在2分钟的额外损耗（例如备份准备...
DML操作常见问题
如果表数据量较大，如何删除非分区表中的重复数据？执行INSERT操作过程中出现错误，会损坏原有数据吗？不会损坏原有数据。MaxCompute满足原子性，INSERT操作执行成功则更新数据，INSERT操作执行失败则回滚数据。执行INSERT INTO或INSERT ...
整库迁移与批量上云
DataWorks支持您在 数据集成主站 新建整库离线同步方案，快速将来源数据源内所有表上传至目标数据源，帮助您节省大量初始化数据上云的批量任务创建时间。支持的数据源 当前DataWorks支持各类数据源的数据整库迁移至MaxCompute、OSS、...
MongoDB 4.2
迁移所需时间和网络、任务队列、数据量大小等多种因素有关，请在业务低峰期执行迁移可用区操作。迁移可用区过程中会有30秒闪断，请确保应用程序具有重连机制。迁移可用区会造成虚拟IP（VIP，如172.16.88.60）的变更。如果应用连接的是数据...
功能特性
此外，OceanBase 数据库支持超大规模集群（节点超过 1500 台，最大单集群数据量超过 3 PB，单表数量达到万亿行级别）动态扩展，在 TPC-C 场景中，系统扩展比可以达到 1:0.9，使用户投资的硬件成本被最大化的利用。高可用 OceanBase 数据库...
数据归档
云盘版本的RDS PostgreSQL实例数据表文件都存储在云盘（ESSD）中，在数据量较大时，可能会面临较高的存储成本。通常，RDS PostgreSQL实例的数据包含冷数据和热数据。通过数据归档功能，可以将对象存储（OSS）用作归档冷数据的存储介质，...
- 产品推荐
- 这些文档可能帮助您