空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
Oracle同步至Tablestore
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
导入数据接口和请求数据接口区别
接口区别示意图 接口区别详细介绍 请求数据接口：重新请求服务端数据，上游 数据处理 节点或 图层节点 抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 https://api.test ，传到请求数据接口动作的数据为 { id:"1"}，则最终请求...
查看资源使用情况-全托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元；其中，前200个集成同步任务免费。计算任务：每1个离线计算任务或实时计算任务计算1个数据处理单元。...
Kafka单表实时入湖OSS（HUDI）
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
使用场景
业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性...
Spark处理Delta Lake和Hudi数据
本文为您介绍Spark如何处理Delta Lake和Hudi数据。背景信息 Delta Lake和Hudi的更多信息，请参见 Delta Lake文档 和 Hudi文档。准备工作 环境 需要在项目中引入Delta Lake或Hudi相关的pom依赖。参数 Delta Lake参数 spark.sql.extensions ...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
如何区分导入数据接口和请求数据接口
接口区别示意图 接口区别详细介绍 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 https://api.test ，传到请求数据接口动作的数据为 { id:"1"}，则最终请求接口为 ...
数据开发概述
数据处理：通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。即席查询：即主题式查询，面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响，基于逻辑模型从业务视角出发对外提供查询服务。双开发...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
案例演示
单击 逻辑节点，添加两个串行数据处理节点。连接节点。设置串行数据处理节点处理方法。数字翻牌器 return[{ value:data[0].number }]通用标题 return[{ value:data[0].text }]预览展示结果。单击画布编辑器右上角的 预览，验证设置结果。...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
数据开发概述
数据处理：通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。即席查询：即主题式查询，面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响，基于逻辑模型从业务视角出发对外提供查询服务。双开发...
快速体验
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
影响查询性能的因素
节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解成多个Stage在不同的节点上并行执行。所以如果集群中的节点数量越多，AnalyticDB MySQL版 处理查询的能力也会越强。您可以根据实际的业务需求来决定集群节点的购买...
产品功能
数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件或压缩包文件）、从数据库SQL表导入。未来还将支持直接从阿里云对象存储服务OSS中导入数据或借助DataWorks工具进行各种格式的数据导入。数据解析 GDB ...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
路况层
动作 动作 说明 请求地理数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如路况层配置了API数据源为 http://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
Delta Lake概述
而Delta简化了工作流程，整条数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换、特征化等操作都是流上的节点动作，无需对历史和实时数据分别处理。与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL...
路况层
动作 动作 说明 请求地理数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如路况层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
数据下载
使用限制 仅支持下载以下模块的数据：数据分析>查询下载、数据分析>电子表格、数据开发>查询下载、安全中心>实体转交。仅支持下载 可下载 状态的文件。进入数据下载 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧...
DataX同步数据
在 数据处理 页签，单击 datax.json 资源的 操作 列下的 图标。在 发布 对话框，填写发布名称或备注信息后，单击 确定，即可将资源文件发布至生产环境。单击左侧导航栏的 发布记录列表。在 发布记录列表 页面，查看资源文件的发布状态为 ...
DataX同步数据
在 数据处理 页签，单击 datax.json 资源的 操作 列下的 图标。在 发布 对话框，填写发布名称或备注信息后，单击 确定，即可将资源文件发布至生产环境。单击左侧导航栏的 发布记录列表。在 发布记录列表 页面，查看资源文件的发布状态为 ...
- 产品推荐
- 这些文档可能帮助您