数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
功能更新动态（2022年之前）
实时数据处理 数据集成 致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。数据集成 告警中心 为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表。告警中心 资产质量 为您提供全链路...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
数据准备与预处理
step3：数据预处理 本示例使用的原始数据为公开的心脏病案例的数据，数据预处理以将所有字段取值归一化为例，为您展示数据预处理的步骤。本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
导入概述
异步导入 Spark Load 通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load是一种异步导入方式，需要通过MySQL协议创建导入作业，并通过 SHOW LOAD 查看导入结果。...
联邦建模概述
联邦数据处理：对联邦表中的数据进行预处理，包括数据预处理和预处理应用。模型训练：使用预处理过的训练集数据训练模型。模型评估：使用预处理过的测试集数据评估模型效果。典型的模型开发业务逻辑如下图所示，其中，离线样本生成的三种...
数据解析概述
物联网平台的数据服务提供数据解析功能，通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后，将数据流转到业务服务器，或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面，创建和...
入门概述
数据准备与预处理 对原始数据进行预处理，生成模型训练集和模型预测集。数据可视化 对源数据或中间结果数据进行可视化处理，以获取数据分析结果。算法建模 使用符合业务场景的算法组件，加上预处理后的数据训练集进行算法建模。评估模型 ...
任务配置
数据预处理 数据预处理节点的构建流程如下：将系统节点列表中的“数据预处理”节点拖拽至画布。配置节点属性。其中，关键参数说明如下：数据预处理算子名称：选择所需算子；可选项为您自定义的或平台自带的数据预处理算子（可在“数据定义>...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
数据建模
在左侧组件列表，将 数据预处理 下的 拆分 组件拖入画布中。通过连线，将 拆分-1 节点作为 data4ml 节点的下游节点。右键单击 拆分-1，在快捷菜单，单击 执行该节点。待运行完成后，右键单击 拆分-1，选择 查看数据>输出表，查看拆分后的表...
Designer支持LLM数据预处理算子及常用模板
新增功能/规格 高质量的数据预处理是LLM成功应用的关键步骤，PAI-Designer提供去重、标准化、敏感信息打码等等常用的高性能数据预处理算子，并基于MaxCompute提供大规模分布式数据计算能力，可大幅提升客户在LLM场景下的数据预处理效率，...
预处理规则管理
查看预处理规则详细信息 在预处理规则列表中，单击预处理规则名称链接，即可查看该预处理规则的详细信息，包括该预处理规则在各节点中的存储地址、预处理配置和关联的任务等信息。基本信息 在预处理规则的 基本信息 页签下，可以查看预处理...
区域热力层（v3.x版本）
当地理边界geojson数据接口请求完成时 地理边界geojson数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当内置...
数据标准
因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准化中起到重要作用。数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
模型优化
比如数据的预处理阶段，尽可能去除掉对于结果无关的噪音。还可以尝试我们平台提供的数据增强功能，对数据集进行扩充。分析 bad case，有针对性地补充数据。比如，您发现模型对于某一种类别经常分不对，很有可能是该类别数据量太少的原因，...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
影响查询性能的因素
如果查询需要处理的数据量较大，就可能会长时间占用大量的资源，导致整体查询效率降低，进而影响最终的查询效果。此外，如果 AnalyticDB MySQL版 中表存储的数据量较大，那么在执行索引过滤、明细数据读取等操作时也会出现相互争抢磁盘I/O...
MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
应用场景
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
配置跨库Spark SQL节点
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
产品特点
可适配用户任何的车上系统输出的数据格式 不绑定算法供应商，用户可自行上传预标注、数据预处理、格式转换等算法在平台上运行 不绑定工具链内各模块，用户可以根据自身需要决定使用其中几个部分 云原生 支持在云上大规模调度仿真软件如VTD...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
Oracle同步至Tablestore
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
节点类型说明
本文按照节点离线、在线和流式的分类，分别介绍各节点类型对应能处理的数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
- 产品推荐
- 这些文档可能帮助您