典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...
功能发布记录 2022年之前
DataWorks为您提供了以下两种迁移方式，将EMR集群下的工作流（节点和调度配置）、手动任务、资源、数据源通过DataWorks迁移助手迁移至DataWorks工作空间中。您可通过DataWorks控制台迁移助手，查看迁移进度、迁移结果以及迁移报告。2021.06...
云数据库Redis开发运维规范
存储资源 Streaming慢消费、大Key等会占用大量存储资源，集群架构 下还会导致数据倾斜，无法有效利用所有数据分片。网络资源 扫描全库（KEYS 命令）、大Value、大Key的范围查询（如 HGETALL 命令）等会消耗大量的网络资源，且极易引发线程...
Tair开发运维规范
存储资源 Streaming慢消费、大Key等会占用大量存储资源，集群架构 下还会导致数据倾斜，无法有效利用所有数据分片。网络资源 扫描全库（KEYS 命令）、大Value、大Key的范围查询（如 HGETALL 命令）等会消耗大量的网络资源，且极易引发线程...
产品优势
阿里云媒体处理功能丰富多样，不仅涵盖基础的转码功能，还包括视频剪辑、水印添加、截图制作以及内容审核等一系列增值服务，充分满足多元化的业务需求。同时，高度可定制化的特点让企业可以根据自身的业务场景灵活配置转码模板，打造个性化...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容...生态 开源大数据生态Hadoop/Spark等、阿里云数据生态 开源大数据生态Hadoop/Spark等 易用性 免运维，维护简单 有状态服务，维护较复杂
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
功能特性
Hudi存储 数据导入与导出 功能集 功能 功能描述 参考文档 大数据数据源 Maxcompute数据源 AnalyticDB for MySQL支持通过外表、DataWorks两种方式将MaxCompute数据导入至数仓版或湖仓版集群，也支持通过外表将AnalyticDB for MySQL数仓版...
验证分析型查询请求能力
它适用于处理大规模、多维的数据集，能够帮助用户进行数据分析、数据挖掘、业务决策等。并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行的并发处理。OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过...
新功能发布记录
ACU时包 2023年2月 V3.1.6.4 类别 名称 说明 相关文档 新增 Roaring Bitmap函数 Roaring Bitmap是一种高效的Bitmap压缩算法，被广泛应用在各种语言和各种大数据平台，常用于去重、标签筛选、时间序列等计算中。Roaring Bitmap函数 漏斗分析...
应用场景
媒体处理可以将多媒体数据转码成适合在全平台播放的格式，并基于海量数据对媒体的内容进行审核、添加标签、版权保护等，广泛应用于视频网站、在线教育、电视传媒和泛娱乐视频等各类视频处理场景。本文为您介绍媒体处理服务常见的应用场景。...
MySQL生态兼容
PolarDB-X 兼容MySQL的透明数据加密TDE，支持将数据表空间的文件做加密处理，确保业务数据的安全性。数据导入导出 PolarDB-X 兼容MySQL binlog复制协议。可以将 PolarDB-X 实例看作一个普通的MySQL节点，将其他MySQL节点作为 PolarDB-X 的...
2019年
概述 通过Tunnel迁移日志数据至MaxCompute 通过DataHub迁移日志数据至MaxCompute 通过DataWorks数据集成迁移日志数据至MaxCompute 通过日志服务迁移日志数据至MaxCompute 2019-12-25 新增开源地理空间UDF。新功能 您可以将开源地理空间UDF...
什么是MaxCompute
MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，并且MaxCompute已经在阿里巴巴...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
应用场景
从最初面向DBA的工具化辅助诊断，到Self-driving Platform理念提出，开始孵化和锤炼数据库自治能力，随后DAS自治能力逐步覆盖集团全网数据库实例，如自动SQL优化、自动空间、自动异常修复等。目前，混合云数据库管理HDM+CloudDBA+自治能力...
数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
快速入门
产品使用 Elasticsearch Elasticsearch作为实时分布式搜索和分析引擎，可以快速地、近乎于准实时地存储、查询和分析超大数据集，可以快速构建日志分析、异常监控、企业搜索和大数据分析等各业务应用。Elasticsearch快速入门 Logstash ...
什么是DataV-Card可视分析创作间
产品价值 自动化的数据洞察：对业务人员提供真正友好的数据分析工具，经验与AI的碰撞获取分析灵感，零代码开发就可完成的可视数据分析。智能可视化作品：5分钟内，通过简单、生动、形象的可视分析过程，实现数据作品创作；一次发布，自动...
使用DataWorks连接
DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定计算引擎后，您即可在DataWorks上创建对应引擎...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
Tableau（2.0版）
Tableau是一款操作简单且功能强大的报表分析工具，支持连接 云原生数据仓库AnalyticDB MySQL版 2.0集群。在Tableau中连接成功后，可以通过拖放或单击的方式快速创建智能视图和仪表板。开始使用Tableau Desktop之前，您需要先完成以下准备...
Quick BI连接MaxCompute
背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台，可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick ...
技术原理
PolarDB-X 1.0 由多个节点构成计算、存储内核一体化实例，在共用一份数据的基础上避免了ETL（Extract-Transform-Load）操作，实现了在线高并发OLTP联机事务处理以及OLAP海量数据分析，即HTAP。原理架构 MPP和只读资源 PolarDB-X 1.0 通过多...
应用场景
极大提高看数据的效率 与内部系统集成，可结合进行数据分析，极大提高看数据的效率。统一系统入口 解决员工使用多系统的麻烦，利于使用与控制。推荐搭配使用 RDS+Quick BI 交易数据权限管控 数据对某支付平台的每个城市经理来说都至关重要...
面临的业务挑战
越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
什么是数据管理DMS
AnalyticDB MySQL版：云原生数据仓库AnalyticDB MySQL版是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。AnalyticDB MySQL版支持高吞吐的数据实时增删改、低延时地实时分析复杂ETL（Extract Transform Load），兼容上下游生态...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
成本可视化
通过使用 成本分析 工具，企业可以多维度查看资源成本的趋势（最大支持12个月），分析全面的成本组成结构，并对未来成本趋势进行预测等，也可将一组筛选后的数据及对应条件保存为报告，便于快捷查看。使用成本分析功能按照月、天、小时的...
公共节点
Hive Hive节点通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作，具体操作，请参见 新建Hive类型的公共节点。Hologres Hologres节点运行于Hologres云计算资源之上，您可使用标准...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务...实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务决策。
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
简介
随着AI技术的发展，Data Fabric与AI的融合不仅增强了数据交付的灵活性，也降低了数据分析的难度，使得数据分析对所有人来说都变得更加易行，开启了人人参与数据分析的新时代。DMS数据分析与应用介绍 DMS通过Data Fabric+大模型构建数据管理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
文档更新动态（2022年之前）
更新说明 计费说明 系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，计算处理速度也相应提升。更新说明 2021年08月24日 数据源：可支持的数据源类型和版本拓展...
附录：预设角色权限列表（空间级）
DataWorks提供项目所有者、空间管理员、数据分析师、开发、运维、部署、访客、安全管理员、模型设计师这几种角色，本文将为您介绍具体角色的权限说明。DataWorks提供的空间预设角色默认拥有所有空间级模块的可读权限，但不同空间预设角色所...
选择连接工具
数据分析师：您可以通过SQL分析查询数据，并通过分析模式的Web Excel对查询结果进行分析。您也可以下载查询结果至本地，减少数据的流动，更好的保障数据安全。安全管理员：MaxCompute项目右侧的 项目权限管理 提供了角色权限管理功能，但是...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
- 产品推荐
- 这些文档可能帮助您