分层存储
如果访问数据量大或访问频次过多，可能会导致费用高于标准存储费用，例如：一个月全量访问一次低频存储的表或分区产生的费用，将等于标准存储的费用。六个月全量访问一次长期存储的表或分区产生的费用，将等于标准存储的费用。长期存储 ...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面...
产品简介
服务内容 服务大类 服务类型 服务内容 大数据专家咨询服务 大数据技术架构方案咨询 为客户提供构建和优化大数据体系的技术架构方案咨询服务，覆盖离线/实时数仓体系建设管理、数仓建模管理，数据开发管理，数据安全管理、数据质量管理、...
基于混合负载的查询优化
Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
数据膨胀诊断
如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic Collector进程的统计信息来进行诊断的，Statistic Collector在PostgreSQL Server发生Crash时统计信息会重置（极小概率发生）。如果您发现...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
查询优化（Query Optimizer)
优化器的功能是否强大是决定数据库性能是否高效稳定的核心因素，尤其在具有混合负载的场景下（包括一定复杂分析查询），优化器对于大数据量复杂查询的执行效率至关重要。本章节将介绍 PolarDB MySQL版 查询优化器组件在多个方面的功能，...
限制说明
使用场景 当数据访问分布比较均匀，数据没有明显的冷热分别时，大量的访问请求在云数据库 Memcache 版无法命中，使用云数据库 Memcache 版作为数据库缓存的效果不明显。在选择缓存时，需要充分考虑到业务模式对数据访问的要求。数据删除...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 阿里云主账号已授权开通数据保护...
存储费用
日存储量平均值=采集到的存储量之和÷24 低频存储 日存储费用=日存储量平均值×单价 数据访问费=数据访问量×单价 低频存储计费单价如下：公共云：0.00266元/GB/天。金融云：0.00505元/GB/天。低频存储数据访问费单价如下：公共云：0.04元/...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
混合存储型（已停售）
在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户成本，实现性能与成本的平衡，同时使单个Redis实例的数据量不再受内存大小的限制。内存数据：内存中存放了热数据的Key和Value，同时为快速确认要操作的Key是否存在，...
通过RAM角色授权模式配置数据源
如果使用预设的 AliyunDataWorksAccessingOSSRole 角色，可能导致其它98个Bucket被大数据团队访问，存在管理风险。因此，云账号负责人可以为大数据团队创建自定义角色 BigDataOssRole，并限制可以使用角色的人员为大数据团队的相关人员，...
查看与减少数据备份
说明 如果当月全量备份数据量与增量备份数据量之和未超过每月备份数据量免费额度，则不额外收取备份费用，否则超出部分按量付费。更多信息，请参见 备份费用。如果使用了DBS内置存储，还将收取存储费用，更多信息，请参见 存储费用。备份...
新零售：特步
对访问量和数据量较大的业务中心，例如订单中心，PolarDB-X 采用了水平拆分的方式，结合弹性升降配和平滑扩容使数据库具备了100 TB数据存储的能力、10万TPS、百万QPS的支撑能力，可以支撑特步扩展业务至当前业务量的5~10倍。从数据的实时性...
上传数据
说明 当数据量较大时解析时间会比较长，您可以先关闭弹窗，后台会继续导入数据。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。上传GeoJSON数据 重要 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 ...
数据保护伞入门
敏感数据访问及导出情况 展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。查看数据风险（新版）从多维度呈现了通过配置的风险识别规则命中的风险数据，方便您了解不同维度...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
混合存储型（已停售）
在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户成本，实现性能与成本的平衡，同时使单个Redis实例的数据量不再受内存大小的限制。内存数据：内存中存放了热数据的Key和Value，同时为快速确认要操作的Key是否存在，...
风险识别管理（旧版）
识别后的风险数据统一在 数据风险 页面进行展示和审计操作，同时会在 数据访问 页面相应的数据后打上识别标志。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击...
敏感数据溯源
DataWorks仅支持对开启 数据水印 功能之后所执行的数据访问操作进行溯源。说明 例如，您查询表A之前未开启 数据水印 功能，此时，即使您开启了 数据水印 功能并启动对该数据文件的溯源任务，仍然无法通过 数据溯源 功能溯源到此次查询操作...
高压缩引擎（X-Engine）介绍
数据量太大导致数据备份时间过长甚至备份失败；同时如何存放备份数据也是一个问题。针对如上问题，一种做法是对历史数据做归档，将长期不使用的数据迁移至以文件形式存储的廉价存储设备上，如阿里云OSS或者阿里云数据库DBS服务。然而，在...
数据服务概述
数据安全和查询性能无法保障：在数据接口开发时往往只考虑数据的获取性，数据资源访问安全性和数据访问的稳定性考虑少。维护成本高：缺乏线上平台化管理，异常情况无法监控告警，线上业务问题暴露后再排查代码修复上线。数据服务价值 为了...
概述
如果使用自建开源大数据生态体系，例如Hive、Spark等，需要专门的大数据工程师来操作和运维，且操作流程也不像使用MySQL一样简单，成本极高。解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB...
2019年
支持的数据库 优化数据订阅的在线查询功能，提升数据订阅的使用体验。此功能已下线 升级全量数据迁移功能，优化任务断点重启逻辑，实现接近无损的断点重启。无 2019年5月 支持新版数据订阅功能。数据订阅（新版）支持迁移/同步/订阅MySQL 8...
数据模型
时序数据库提供一系列特有的数据访问操作，包括聚合（Aggregation）、降采样（Downsample）、插值（Interpolation）等，同时还提供数据生命周期（数据时效）的管理机制。元素 描述 聚合（Aggregation）对同一时间线、或不同时间线上的数据...
访问控制权限概述
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行等进行权限管理，可按需给授权对象登录、查询、导出、变更等权限类型。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作权限...
数据保护伞概述
例如，数据量比较、频次比较等，风险规则生效后，系统会自动进行检测，主动发现风险操作并预警。风险识别管理（新版）风险识别管理（旧版）风险监测处置 查看监测出的风险的操作明细信息，可根据需要支持标记是否无风险、是否已处置等。...
功能特性
数据访问 作业管理 Lindorm计算引擎支持通过Lindorm管理控制台、DMS服务和DataWorks平台调度计算作业，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。作业管理 Ganos时空服务 时空索引 Lindorm宽表引擎在原有的...
连接方式概述
OceanBase Connector/C 允许 C/C++ 程序以一种较为底层的方式访问 OceanBase 分布式数据库集群，以进行数据库连接、数据访问、错误处理和 Prepared Statement 处理等操作。OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
API概览
ListProjectFullVerifyResult 查询项目的全量校验结果 本接口用于查询数据迁移项目的全量校验结果。StartProjectsByLabel 启动指定标签下所有未启动的项目 本接口用于启动指定标签下，所有处于未启动状态的数据迁移或数据同步项目。...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
通用数据开发
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
同步时源库为Db2 for LUW的注意事项及限制
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
- 产品推荐
- 这些文档可能帮助您