元数据采集
支持的数据源及元数据采集方式 数据源类型 元数据采集方式 是否能在数据地图中看到采集器 元数据更新时效性 数据表/字段 分区 数据血缘 MaxCompute 数据开发-绑定数据源 自动启动采集 否 普通项目：实时 外部项目：T+1 国内地域：实时 海外...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
RDS与自建数据库对比优势
可靠性 数据可靠性高，自动主备复制、数据备份、日志备份等。MySQL集群系列实现多可用区容灾，通过组复制技术提供数据强一致性，并且提供可靠性更强的备节点。备节点的故障发现时长为秒级，在99%的场景下，备节点从故障发生到节点恢复不...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
质量规则参数配置
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 及时性 时间函数比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较项：比较时间的表达式，内置${column}、${bizdate} 参数。基于比较字段...
质量规则参数配置
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 及时性 时间函数比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较项：比较时间的表达式，内置${column}、${bizdate} 参数。基于比较字段...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
什么是数据资源平台
基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据管理平台。依托数据资源平台，可设计高质量的标准化数据模型，减少重复开发工作，用户可...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
数据表-数据概况
适用场景 随着业务逐渐增大，期望能尽快分析出每个表中存储数据大小，以便更有针对性的进行存储优化，此时结合表存储大小可以解决此类场景。数据越来越多，期望对访问频次不高的数据进行冷归档，以节省存储成本，此时结合访问次数可以快速...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
产品优势
物联网平台无缝对接，生态丰富 开源产品，与云产品集成能力弱 存储成本 数据压缩 时序领域专用压缩，压缩率高 通用压缩，压缩率低 稳定性 数据读取 读写线程池分离，易于管理连接，读写稳定 读写耦合，容易造成连接数耗尽，读写失败概率大 ...
TPC-DS数据
支持的工具或平台 MaxCompute客户端（odpscmd）MaxCompute Studio DataWorks数据开发SQL节点 Query样例文件 MaxCompute提供了针对不同数据规格的Query样例文件，每个文件内包含99个查询，这些查询的复杂性和扫描数据范围差异很大，请谨慎...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
Serverless模式
数据一致性：数据消费者实例对数据的访问性能接近于数据生产者实例，同时消费者实例可以读到生产者实例最新已提交的写入数据，保证事务的ACID能力。数据共享可以帮助您解决以下问题：复杂组织权限隔离：例如公司总部和分部各有一个实例，...
选型配置说明
E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求，还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持的组件以控制台实际展示为准。集群类型 场景介绍 ...
DBS沙箱功能概览
背景信息 在海量数据场景下，传统数据库备份服务面临两大越来越严重的困难：存储成本：为了保障数据恢复点目标（Recovery Point Objective，RPO），周期性的全量和增量备份产生大量重复数据，导致存储成本过高。使用成本：您必须待数据完成...
概述
云原生数据仓库AnalyticDB PostgreSQL版 向量数据库本身既支持向量索引也支持全文索引，因此它可以通过向量检索与全文检索实现双路召回，极大地提高向量数据的召回准确性。数据实时更新和实时查询。云原生数据仓库AnalyticDB PostgreSQL版 ...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
RDS术语
备份 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。更多信息，请参见 备份简介。本地SSD盘 指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘，可以降低I/O延时。更多信息，请参见 存储类型。C ...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
RDS术语
备份 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。更多信息，请参见 备份简介。本地SSD盘 指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘，可以降低I/O延时。更多信息，请参见 存储类型。C ...
应用场景
云上自建数据库 DBFS为数据库场景量身打造的特性，非常适合云上用户自建数据库（例如：MySQL，PostgreSQL等），实现存储计算分离：对比项 DBFS 本地盘 极致性能 帮助用户实现数据库存储计算分离，为数据库可在云端存储可获得的最佳性能收益...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
概述
因此，在这种模式下大部分应用会选择牺牲一定的数据一致性。为了面向在线业务场景构建一套完整的数据库+缓存的解决方案，实现对在线业务场景的数据访问、存储和加速，为客户提供一站式的解决方案，PolarDB MySQL版 推出了数据与缓存一站式...
RDS术语
备份 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。更多信息，请参见 备份简介。本地SSD盘 指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘，可以降低I/O延时。更多信息，请参见 存储类型。C ...
RDS术语
备份 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。更多信息，请参见 备份简介。本地SSD盘 指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘，可以降低I/O延时。更多信息，请参见 存储类型。C ...
RDS术语
备份 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。更多信息，请参见 备份简介。本地SSD盘 指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘，可以降低I/O延时。更多信息，请参见 存储类型。C ...
新功能发布记录
通过标签管理数据迁移项目 通过标签管理数据同步项目 支持在预检查步骤提供移除不符合条件的对象能力，方便用户轻松创建项目，提升产品易用性 数据迁移模块文档 支持在选择增量同步（不包含全量迁移的场景）下选择增量同步位点 2023 年 5 ...
什么是云原生数据库PolarDB分布式版
业务端分库分表 场景描述：当前业务已采用开源组件实现分库分表架构，属于核心场景，数据规模大、并发量高、以及稳定性是该场景的主要诉求，同时受限于开源组件的限制，缺少有效的分布式运维能力，比如：分布式DDL、扩缩容等。产品能力：...
DB2数据源
一致性约束 DB2在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询接口。例如，一次同步任务启动运行过程中，有其它数据源写入数据至该库。由于数据库本身的快照特性，DB2 Reader完全不会获取到写入的更新数据。上述是在DB2 ...
- 产品推荐
- 这些文档可能帮助您