MaxFrame概述
处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、MaxFrame分布式能力进行大规模数据分析、处理及数据挖掘，提高开发效率。面向Data+AI开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程。支持的...
EMR Studio概述
覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 优势 描述 兼容开源 EMR Studio提供深度优化的开源组件使用体验，100%兼容开源大数据生态。您无需修改任务代码，即可平滑迁移上云。通过EMR ...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
DataWorks On EMR使用说明
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云EMR提供了on ECS、on ACK和Serverless形态，以满足不同用户的需求。详情请参见：E-MapReduce产品概述。支持的...
DataWorks On MaxCompute使用说明
类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
配置跨库Spark SQL节点
使用限制 Spark SQL任务节点基于Spark计算引擎运行，单个任务单次处理数据时不要超过200万条，否则可能影响任务运行效率。因计算资源有限，任务运行高峰期无法保证计算时效。系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
交叉透视表
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
Iceberg概述
实时机器学习 通常在机器学习场景中，需要花费大量的时间处理数据，例如，数据清洗、转换和提取特征等，还需要对历史数据和实时数据进行处理。而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和...
MapReduce
MapReduce处理数据的完整流程如下：输入数据：对文本进行分片，将每片内的数据作为单个Map Worker的输入。分片完毕后，多个Map Worker便可以同时工作。在正式执行Map前，需要将输入数据进行分片。所谓分片，就是将输入数据切分为大小相等的...
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
Delta Engine 概述
Delta Engine 是与 Apache Spark 兼容的高性能查询引擎，提供了一种高效的方式来处理数据湖中的数据，包括存储在开源 Delta Lake 中的数据。Delta Engine 优化可加快数据湖操作速度，并支持各种工作负载，从大规模 ETL 处理到临时交互式...
基于混合负载的查询优化
完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大数据场景下的复杂批计算场景；如何一站式的解决混合负载下的服务能力。新一代云原生数据仓库AnalyticDB MySQL版提供一站式的数仓服务。混合计算引擎 提供...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
Delta Lake概述
实时机器学习：在机器学习场景中，通常需要花费大量的时间用于处理数据，例如数据清洗、转换、提取特征等等。同时，您还需要对历史和实时数据分别处理。而Delta简化了工作流程，整条数据处理过程是一条完整的、可靠的实时流，其数据的清洗...
呼吸气泡层（v3.x版本）
导入数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。显示 显示组件，不需要参数。隐藏 隐藏组件，不需要参数。
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
BI分析功能简介
DataV的BI分析功能是基于DataV6.0迭代更新后的数据映射能力，通过简便实用的数据模型构建、视觉绑定和交互式动态数据查询，向用户提供探索数据间关系的能力，可以丰富可视化视图的创作模式，完善可视分析循环。本文介绍BI分析的基本概念。...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
节点类型说明
本文按照节点离线、在线和流式的分类，分别介绍各节点类型对应能处理的数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
图层配置项说明
当在可视化应用中需要对三维城市项目图层做出更多类型数据源或者数据交互需求时，则建议您将后续需要修改数据的图层一键生成区块接口，再在可视化应用中配置数据。单击场景编辑器页面右上角的 图标，在预览页面中，您可以单击左侧的 测试...
产品优势
协同分析 数据洞察Notebook为大数据分析提供了可视化、交互式的平台。用户可以在Notebook中编辑、执行、查看Spark作业。不同角色的用户可以共享集群资源和Notebook内容，协同合作。数据共享 Databricks数据洞察采用数据湖分析的架构设计，...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
导入概述
异步导入 Spark Load 通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load是一种异步导入方式，需要通过MySQL协议创建导入作业，并通过 SHOW LOAD 查看导入结果。...
Oracle同步至Tablestore
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
图层配置项说明
当在可视化应用中需要对三维城市项目图层做出更多类型数据源或者数据交互需求时，则建议您将后续需要修改数据的图层一键生成区块接口，再在可视化应用中配置数据。单击场景编辑器页面右上角的 图标，在预览页面中，您可以单击左侧的 测试...
图层配置项说明
当在可视化应用中需要对三维城市项目图层做出更多类型数据源或者数据交互需求时，则建议您将后续需要修改数据的图层一键生成区块接口，再在可视化应用中配置数据。单击场景编辑器页面右上角的 图标，在预览页面中，您可以单击左侧的 测试...
应用场景
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
应用场景
本地IDC/跨云数据库上云迁移 数据传输服务 DTS 支持RDBMS、NoSQL、OLAP等数据源间的数据交互，集数据迁移/订阅/同步于一体，助您构建安全、可扩展、高可用的数据架构。通过数据库网关，可将本地或第三方云的数据库低成本地接入至阿里云。...
- 产品推荐
- 这些文档可能帮助您