产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
创建Kudu数据源
Kudu适用HTAP场景（例如物联网），对于数据处理系统的复杂性提出了更高的要求。从早期的OLTP、OLAP拆分，到后来的Lambda架构，都存在数据复制和同步的复杂性，而Kudu的单一数据架构，规避了传统架构数据复制和同步的复杂性。更多详情请参见...
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
轮播列表
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如轮播列表配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。高亮 高亮...
自定义区域下钻层（v4.x版本）
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如自定义区域下钻层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。...
自定义区域下钻层（v3.x版本）
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如自定义区域下钻层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。...
交叉透视表
动作 动作 说明 请求透视表接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如交叉透视列表配置了API数据源为 https://api.test ，传到 请求透视表接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
区间范围柱状图（v4.x版本）
动作 动作 说明 请求区间范围柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区间范围柱状图配置了API数据源为 https://api.test ，传到 请求区间范围柱状图接口 动作的数据为 { id:'1'}，则最终...
水平基本柱状图（v4.0及以上版本）
动作 动作 说明 请求水平基本柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如水平基本柱状图配置了API数据源为 https://api.test ，传到 请求水平基本柱状图接口 动作的数据为 { id:'1'}，则最终...
百分比条形图（v4.x版本）
动作 动作 说明 请求百分比条形图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如百分比条形图配置了API数据源为 https://api.test ，传到 请求百分比条形图接口 动作的数据为 { id:'1'}，则最终请求接口...
区域图（v4.0及以上版本）
动作 动作 说明 请求区域图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域图配置了API数据源为 http://api.test ，传到 请求区域图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
词云
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如词云配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 ...
基本散点图（v4.0及以上版本）
动作 动作 说明 请求散点图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如基本散点图配置了API数据源为 https://api.test ，传到 请求散点图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
垂直分组柱状图
动作 动作 说明 请求垂直分组柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如垂直分组柱状图配置了API数据源为 https://api.test ，传到 请求垂直分组柱状图接口 动作的数据为 { id:'1'}，则最终...
垂直堆叠柱状图（4.0及以上版本）
动作 动作 说明 请求垂直堆叠柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如垂直堆叠柱状图配置了API数据源为 https://api.test ，传到 请求垂直堆叠柱状图接口 动作的数据为 { id:'1'}，则最终...
气泡图（v4.x版本）
动作 动作 说明 请求气泡图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如气泡图配置了API数据源为 http://api.test ，传到 请求气泡图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
旭日图
动作 动作 说明 请求旭日图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如旭日图配置了API数据源为 https://api.test ，传到 请求旭日图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
仪表盘
动作 动作 说明 请求仪表盘接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如仪表盘配置了API数据源为 https://api.test ，传到 请求仪表盘接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
3D环图
动作 动作 说明 请求3d环图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如3D环图配置了API数据源为 https://api.test ，传到 请求3D环图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
基本折线图（v4.0及以上版本）
基本折线图是折线图的一种，与双轴折线图相比，基本折线图的一个类目只对应一个值，主要通过多系列数据配置的方式，展示同一类目下不同数据的变化，能够以折线和区域相结合的方式，智能地展示多维的数据变化趋势。本文介绍基本折线图各配置...
如何对JSON类型进行高效分析
PolarDB IMCI采用精简二进制方式存储JSON列存数据，且使用RapidJSON库解析JSON数据，处理过程中按需读取数据且利用列存压缩技术等有效减少IO量，同时充分利用SIMD和向量化及并行等加速运算。以实际测试数据为例展示列存中JSON用法及其行列...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
EMR Workbench
通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析...
GxP欧盟附录11标准合规包
5.1 以电子方式与其他系统交换数据的计算机化系统应包括适当的内置检查，以确保数据的正确和安全输入和处理，以最大限度地减少风险。7.1 应通过物理和电子手段保护数据免受损坏。应检查存储的数据的可访问性、可读性和准确性。应确保在整个...
Oracle同步至Tablestore
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
使用场景
业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
什么是云原生数据湖分析
DLA方案是完全Serverless的解决方案，是阿里云提供的云原生的数据处理方案。从之前Hadoop体系过渡到数据湖方案。DLA提供与Hadoop体系兼容的过渡方案。为什么同时支持Serverless Presto与Serverless Spark？DLA Serverless Presto是在开源...
技术面临的挑战与革新
在分布式数据库中，同样也可以采用这种模式，将事务集中在一个节点处理，而这限制了事务处理的扩展能力，系统能处理的事务操作的数据范围受限于单个节点所能访问的数据范围，事务处理能力也受限于单个节点的处理能力。
快照概述
什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件，文件系统部署在云盘上，因此文件系统快照服务实际上基于云盘快照，对某个文件系统打快照相当于对该文件系统所部署的所有云盘同时打快照。文件系统第一份...
创建快照
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。前提条件 进行快照创建时，数据库文件系统必须处于 已挂载 或 待挂载 状态。说明 如果文件系统处于 待挂载 的状态，则需要保证文件系统有...
节点类型说明
流式类节点 流式节点，运行于流式云计算资源之上，一般支持对多种类型的数据处理。节点类型 对应的云计算资源类型 说明 Blink Blink 流式节点，运行于Blink云计算资源之上，支持对DataHub、AnalyticDB MySQL、Table Store、MaxCompute、...
应用场景
本文介绍 云消息队列 Kafka 版 的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。网站活动跟踪 成功的网站运营需要对站点的用户行为进行分析。通过 云消息队列 Kafka 版 的发布/订阅模型，您可以实时收集网站活动数据...
TPC-H
大批量实时写入：亿级数据写入和删除操作，考验事务处理的性能，也对AP系统必用的列存存储引擎发起巨大的挑战。大吞吐并发读写：30 TB数据集下至少10并发查询流（Query Stream），同时启动数据更新流（Refresh Stream）进行多轮大批量数据...
系统函数分类
数据探索自身预置了诸多函数，用于常见的数据处理需求。这些预置的系统函数具有跨引擎的特点，在离线、实时、在线3种模型的不同引擎中具有相同的行为和使用方式。本文为您介绍数据探索提供的系统函数类型及函数使用相关说明。函数分类 数据...
PyODPS概述
数据处理方式 描述 场景示例 拉取到本地处理（不推荐，易OOM）例如DataWorks中的PyODPS节点，内置了PyODPS包以及必要的Python环境，是一个资源非常受限的客户端运行容器，并不使用MaxCompute计算资源，有较强的内存限制。PyODPS提供了 to_...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
Slowly Changing Dimension
示例中通过两次批量写入代替流式写入的方式模拟G-SCD on Delta Lake的数据处理。步骤三：验证数据写入结果 通过查询语句，验证数据是否写入成功。步骤一：创建G-SCD表 创建G-SCD表的示例如下，该表会在 步骤二：处理数据 使用。CREATE ...
- 产品推荐
- 这些文档可能帮助您