索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
应用场景
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
数据质量评估标准
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要保持一致...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
数据库管理
每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：如果一个Lindorm时序引擎实例计划包含不相关的项目数据，在很大程度上，彼此之间是隔离的。那么在这种情况下，建议将它们放到单独的...
TPC-DS数据
支持的工具或平台 MaxCompute客户端（odpscmd）MaxCompute Studio DataWorks数据开发SQL节点 Query样例文件 MaxCompute提供了针对不同数据规格的Query样例文件，每个文件内包含99个查询，这些查询的复杂性和扫描数据范围差异很大，请谨慎...
产品优势
智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控，并提供修复建议。可视化 提供敏感数据识别结果可视化能力，让企业数据安全现状一目了然。提供动态可视...
冷热分层
其中冷数据的数据量较大，很少被访问，甚至整个生命周期都不会被访问。冷热数据的区分方式如下：按照数据的创建时间：通常，数据写入初期，用户的关注度较高且访问频繁，此时的数据为热数据。但随着时间的推移，旧数据访问频率会越来越低，...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
产品计费
本文介绍大数据专家服务计费方式与价格。计费方式 计费项：按服务类型进行计费。计费方式：预付费。有效期：365 天（自然日）。说明 请在服务购买后的365个自然日内使用您购买的服务，服务过期作废。所有服务均不支持自动退款，若服务未...
受众与核心能力
总之，使用DataWorks，您不仅可以进行海量数据的离线加工分析，还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践...
OSS数据安全防护最佳实践
智能化：运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，诸如数据异常访问和潜在的泄漏风险进行有效识别和监控，并提供修复建议。提供定制化的敏感数据识别能力，便于客户自定义识别标准，实现精准识别和高效防护。...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
快速入门
作为学院派关系型数据库管理系统的鼻祖，它的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等，而大部分商业数据库都不支持这些数据类型。除了完美支持事务、子查询、多版本控制（MVCC）...
典型场景
典型场景 数据仓库服务 您可以通过数据传输服务（DTS）或数据集成服务（DataX），将云数据库（例如RDS、PolarDB）或自建数据库批量同步到 云原生数据仓库AnalyticDB PostgreSQL版。云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
大数据AI公共数据集分析
学习如何在DataWorks进行简单的大数据分析操作，了解DataWorks的数据分析能力。操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks：一站式大数据开发与治理平台，绑定计算引擎后可在DataWorks上开发调度对应引擎的分数据开发治理...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
mysqldump
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过mysqldump工具，可以将数据库的...使用mysqldump导出数据和表结构仅用于开发测试或者数据量很小的情况，请勿用于大数据量的生产环境。相关文档 mysqldump的详细信息请参见 mysqldump。
混合存储型（已停售）
实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很大的关系：实例规格越高，内存数据的访问比重越高，性能就越强。理想的场景中，所有的访问都命中内存，此时实例性能与Redis社区版实例基本一致；反之，在内存命中率...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
DML无锁变更概览
DBA提取目标数据手动拆分：人工拆分非常繁琐，工作量大，且易出错，并且很难进行动态调整。为解决上述问题，DMS提供了DML无锁变更。具体操作，请参见 DML无锁变更。适用场景 历史数据清理 全表更新字段 支持的数据库类型 MySQL：RDS MySQL...
什么是EMR Serverless StarRocks
在典型的OLAP场景中，由于查询通常只聚焦于特定几个列，列式存储额外减少了读取非必要列的数据量，从而能够在很大程度上削减磁盘I/O的负担，实现大幅度的吞吐量节省。StarRocks能够实现秒级的导入延迟，提供近乎实时的数据处理能力。其存储...
PyODPS概述
整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用DataWorks节点的用户来说，很容易因为超过默认分配的内存值而导致OOM运行报错。高效处理代码demo from odps.df import ...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
数据分析整体趋势
另一方面，分布式数据库也快速发展，融合了部分大数据技术和存储格式，在扩展性层面获得了很好提升。在数据分析场景，两者解决的都是相同问题。市场趋势 数据规模高速增长（全球2010-2025年复合增长达到27%，中国则大于30%）带来了强劲的...
应用场景
通过应用层跨链，很难保证信息的真实性，同时应用层适配异构链的改造成本也很高。如何能够低成本地进行信息可信跨链传递，成为迫切需要解决的问题。合同存证链、版权存证链等数据存证场景中，如果发生任何纠纷，司法区块链可以通过跨链服务...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
离线同步任务调优
附录：同步速度 不同数据源的并发读写速度会有很大的差异。下文为您介绍典型数据源在独享资源组中，单并发的同步速度：不同数据源的Writer插件对应的单并发平均速度 Writer 单并发平均速度（KB/s）AnalyticDB for PostgreSQL 147.8 ...
- 产品推荐
- 这些文档可能帮助您