应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
聚合支付方案
借助PolarDB和 AnalyticDB MySQL 的大数据处理能力，决策报表的生成时间从分钟级别降低至秒级，大部分报表可以在10秒内生成，部分特别复杂的报表生成时间为1分钟。业务行为和业务决策平滑对接，决策者可以通过报表数据快速进行业务决策，...
2024年
新说明 ECS资源复用版是MaxCompute按量付费类型中的一种实例规格，旨在将ECS闲置实例转换为可用的MaxCompute计算资源，该方式可以充分利用已有的计算资源，而不需要额外购买新的MaxCompute计算资源，从而在满足大数据处理需求的同时，提高...
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
DataWorks On CDP/CDH使用说明
类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
DataWorks On Hologres使用说明
类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
DataWorks On MaxCompute使用说明
类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
2.0版本引入了新的查询优化算法和存储引擎，提高了查询速度和并发处理能力，能够更快地处理大量数据，提升数据库的响应能力和性能。此外，2.0版本还引入了许多新的功能和增强功能，提供更好的用户体验和开发者工具。例如，改进了对JSON数据...
PolarDB HTAP实时数据分析技术解密
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等。社区将其处于低优先级，因此MySQL的数据分析能力提升进展缓慢。随着MySQL的发展，用户使用其存储了大量的数据，并且运行着关键...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
基于MaxFrame实现大语言模型数据处理
随着人工智能的发展，许多业务和数据分析可以基于大语言模型（LLM）进行广泛的应用，而数据处理是LLM开发尤为重要的一环，数据质量的好坏直接影响大模型训练、推理的最终效果。相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
PyODPS概述
数据处理方式 描述 场景示例 拉取到本地处理（不推荐，易OOM）例如DataWorks中的PyODPS节点，内置了PyODPS包以及必要的Python环境，是一个资源非常受限的客户端运行容器，并不使用MaxCompute计算资源，有较强的内存限制。PyODPS提供了 to_...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
配置跨库Spark SQL节点
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
离线集成概述
解决企业复杂大数据批处理难题，支持企业精细化运营、数据营销、智能推荐等大数据业务场景。离线集成功能底层基于Spark开发，支持提升Hadoop平台运行速度的应用场景。说明 如果您在使用该功能的过程中有任何疑问或问题，请使用钉钉搜索钉钉...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
查看资源使用情况-全托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元；其中，前200个集成同步任务免费。计算任务：每1个离线计算任务或实时计算任务计算1个数据处理单元。...
Oracle同步至Tablestore
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
Kafka单表实时入湖OSS（HUDI）
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
- 产品推荐
- 这些文档可能帮助您