查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
查看资源使用情况-全托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元；其中，前200个集成同步任务免费。计算任务：每1个离线计算任务或实时计算任务计算1个数据处理单元。...
Oracle同步至Tablestore
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
租户设置
说明 如果您的租户不支持恢复，可能的原因有以下几种情况：已使用的数据处理单元数大于剩余的可分配的数据处理单元。已使用的质量规则数大于剩余的可分配的质量规则数。租户功能存在降配的情况。租户已配置的调度资源（CPU或内存）超过系统...
应用场景
EMR Serverless Spark可以满足企业级用户的多种数据处理与分析需求。本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和...
使用场景
业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
功能更新动态（2022年之前）
2021年08月 功能名称 功能描述 发布时间 发布地域 相关文档 产品计费：策略优化及数据处理单元规格拓展 同步任务和集成任务对应的数据处理单元由1:1修改为3:1，且前200个集成任务免费，进一步降低数据上云成本。同时，手动任务、汇总逻辑表...
基于MaxFrame实现大语言模型数据处理
随着人工智能的发展，许多业务和数据分析可以基于大语言模型（LLM）进行广泛的应用，而数据处理是LLM开发尤为重要的一环，数据质量的好坏直接影响大模型训练、推理的最终效果。相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为...
影响查询性能的因素
节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解成多个Stage在不同的节点上并行执行。所以如果集群中的节点数量越多，AnalyticDB MySQL版 处理查询的能力也会越强。您可以根据实际的业务需求来决定集群节点的购买...
系统函数分类
数据探索自身预置了诸多函数，用于常见的数据处理需求。这些预置的系统函数具有跨引擎的特点，在离线、实时、在线3种模型的不同引擎中具有相同的行为和使用方式。本文为您介绍数据探索提供的系统函数类型及函数使用相关说明。函数分类 数据...
数据标准
因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准化中起到重要作用。数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成...
DataX同步数据
在 数据处理 页签，单击 datax.json 资源的 操作 列下的 图标。在 发布 对话框，填写发布名称或备注信息后，单击 确定，即可将资源文件发布至生产环境。单击左侧导航栏的 发布记录列表。在 发布记录列表 页面，查看资源文件的发布状态为 ...
DataX同步数据
在 数据处理 页签，单击 datax.json 资源的 操作 列下的 图标。在 发布 对话框，填写发布名称或备注信息后，单击 确定，即可将资源文件发布至生产环境。单击左侧导航栏的 发布记录列表。在 发布记录列表 页面，查看资源文件的发布状态为 ...
查询流程和执行计划
Executor节点将数据处理的最终结果返回到客户端，或者写入 AnalyticDB MySQL版 集群的内部表以及其它外部存储系统（如OSS）中。执行计划相关概念 了解以下概念能帮助您更好地分析 AnalyticDB MySQL版 的执行计划（即物理执行计划）：Stage ...
外部表概述
该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的...
节点类型说明
流式类节点 流式节点，运行于流式云计算资源之上，一般支持对多种类型的数据处理。节点类型 对应的云计算资源类型 说明 Blink Blink 流式节点，运行于Blink云计算资源之上，支持对DataHub、AnalyticDB MySQL、Table Store、MaxCompute、...
数据开发
在实际的业务系统中，数据来源多种多样，不同数据对数据处理的时延和数据量的要求不同，这就需要综合多种不同的平台，包括批量、流式环境等。进行数据处理时，上一个平台计算完毕后把数据传递给下一个平台进行计算，多个平台互相配合来完成...
查询执行模式
相比较于全内存计算的 Interactive 模式，Batch 模式可以对查询的任务进行分批执行，每个子任务在内存不足的情况下，自适应地将内存数据换出到磁盘，降低数据计算的成本，提升数据处理的容量上限。Interactive模式 AnalyticDB MySQL 接收到...
产品计费
处理场景 处理能力 简单的数据处理。例如，过滤、清洗等操作。1 CU每秒可以处理40000~55000条数据。复杂的数据处理。例如，聚合操作、复杂UDF计算等。1 CU每秒可以处理5000~10000条数据。计费项 计算资源作为Serverless Spark工作空间的...
功能特性
支持多种任务类型 任务类型包括数据迁移、数据同步、数据加工等，满足不同的数据处理需求。支持任务调度的管理和监控 可设置任务的调度策略，包括定时调度、触发条件调度等，保证准时执行任务。支持任务之间的依赖关系配置 可以设置任务的...
操作流程
节点模式操作流程 节点模式主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理场景。新建开发节点流程图 流程说明 操作 说明 新建开发节点 根据待处理的数据类型，选择对应的节点类型，新建开发节点处理该类数据。具体...
操作流程
节点模式操作流程 节点模式主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理场景。新建开发节点流程图 流程说明 操作 说明 新建开发节点 根据待处理的数据类型，选择对应的节点类型，新建开发节点处理该类数据。具体...
版本发布记录
接入DataWorks任务调度 接入DataWorks任务调度，使得用户能够可视化轻松定制数据湖分析的数据处理流程，实现云上大数据WorkFlow。接入函数计算 接入函数计算，使得用户能够基于这两款Serverless化云产品，构建云原生Serverless工作流。接入...
DataWorks模块使用说明
使用流程与主要子模块 DataWorks为您提供从端到端的一站式数据开发治理平台，数据处理流程主要包括以下几个阶段。各个阶段DataWorks的主要子模块如下。数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，...
PyODPS概述
数据处理方式 描述 场景示例 拉取到本地处理（不推荐，易OOM）例如DataWorks中的PyODPS节点，内置了PyODPS包以及必要的Python环境，是一个资源非常受限的客户端运行容器，并不使用MaxCompute计算资源，有较强的内存限制。PyODPS提供了 to_...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
引擎类型
流引擎 兼容SQL、Kafka接口 IoT数据处理、应用日志处理、物流时效分析、出行数据处理、轨迹实时分析等场景。流引擎是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现将流式数据存储至 云原生多模数据库 Lindorm...
什么是EMR Serverless StarRocks
您无需在上游应用中进行数据转换操作，便可以直接在使用物化视图的过程中实现数据的转换与加工，简化了数据处理流程。数据湖分析 StarRocks不仅能高效地分析本地存储的数据，也可以作为计算引擎直接分析数据湖中的数据。您可以通过...
基本概念
任务实例说明 任务（Task）：数据处理作业单元，任务定义了数据处理的操作以及其相关的配置，一个任务通常包含了需要执行的SQL、Python脚本或者应用包等，以及计算引擎的配置信息。任务依赖（Task Deps）：当前任务可能需要有另外（1或者n...
配置跨库Spark SQL节点
Serverless：Spark SQL任务是基于Spark引擎进行数据处理的无服务器化计算服务，用户无需预购计算资源和维护资源，没有运维和升级成本。支持的SQL语句包括：CREATE TABLE,CREATE SELECT,DROP TABLE,INSERT,INSERT SELECT,ALTER TABLE,...
ETL工作流快速体验
通过数据加工处理，并设置调度策略，实现数据处理的自动化，从而向您展示智慧城市项目下数据加工的整个过程。GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks ...
数据集成概述
全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，...
Slowly Changing Dimension
示例中通过两次批量写入代替流式写入的方式模拟G-SCD on Delta Lake的数据处理。步骤三：验证数据写入结果 通过查询语句，验证数据是否写入成功。步骤一：创建G-SCD表 创建G-SCD表的示例如下，该表会在 步骤二：处理数据 使用。CREATE ...
安全基线检查
策略名称 说明 日志监控审计 数据处理的全生命周期应具备记录和监控能力，确保数据处理过程可审计、可追溯。资产应开启日志审计或日志存储等功能。该策略检测数据库是否开启了安全日志审计、日志存储等功能。身份权限管理 数据的访问和使用...
概述
因此，需要一个自动化流程来确保数据处理、分析、备份等多种需求的顺序和正确性。针对以上问题，DMS 的任务编排应运而生，其可自动化处理数据，提高数据开发效率，减少出错率，提升数据价值和可靠性。支持的数据库类型 关系型数据库：MySQL...
- 产品推荐
- 这些文档可能帮助您