流程控制
事件或动作参数说明 事件或动作 说明 当执行此方法后 序列执行节点的数据处理方法。可在配置面板中添加多个处理方法，添加后，序列执行 节点中显示您添加的处理方法；各方法按照顺序进行数据处理。执行 输入上游节点的输出结果，用于该节点...
LTS（原BDS）服务介绍
低成本：LTS在HBase、Phoenix、Cassandra等开源系统上有深入的优化，提供物理文件级别的数据处理，比传统的数据复制效率提高10倍。同时在CPU、缓存、内存、网络IO上的整体优化使LTS提供一个高性价比的数据通道，减少客户数据流转、处理的...
公告
2023年07月11日-数据处理单元拓展及数据萃取功能下架通知 2023年07月11日起，Dataphin售卖变更如下：智能研发版和基础研发版可选的数据处理单元规格拓展，支持3500、4000、4500、5000。数据萃取功能下架，不支持新购和升级，历史已购客户...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
概述
因此，需要一个自动化流程来确保数据处理、分析、备份等多种需求的顺序和正确性。针对以上问题，DMS 的任务编排应运而生，其可自动化处理数据，提高数据开发效率，减少出错率，提升数据价值和可靠性。支持的数据库类型 关系型数据库：MySQL...
Babelfish简介
如果您期望一份成本享受两种数据库引擎的数据处理能力。Babelfish for RDS PostgreSQL架构图 架构说明：Babelfish for RDS PostgreSQL实例具备两个TCP端口，分别监听来自SQL Server和PostgreSQL客户端的SQL请求。TDS Listener：接收SQL ...
ETL工作流快速体验
通过数据加工处理，并设置调度策略，实现数据处理的自动化，从而向您展示智慧城市项目下数据加工的整个过程。GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks ...
Slowly Changing Dimension
示例中通过两次批量写入代替流式写入的方式模拟G-SCD on Delta Lake的数据处理。步骤三：验证数据写入结果 通过查询语句，验证数据是否写入成功。步骤一：创建G-SCD表 创建G-SCD表的示例如下，该表会在 步骤二：处理数据 使用。CREATE ...
功能特性
阿里云Flink（流式）DataHub（实时）DataHub是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能构建基于流式数据的分析和应用。DataHub（实时）SLS投递 将日志服务采集的...
概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性。例如，现有注册表和登录表两张表，注册表中存储了会员ID，字段名为 user_id，登录表中也存储了会员ID，字段名为 userid，此时针对会员...
数据上云工具
Fluentd（DataHub通道系列）Fluentd是一个开源的软件，用来收集各种源头日志（包括Application Log、Sys Log及Access Log），允许您选择插件对日志数据进行过滤，并存储到不同的数据处理端（包括MySQL、Oracle、MongoDB、Hadoop、Treasure ...
LTS（原BDS）服务介绍
低成本：LTS在HBase、Phoenix、Cassandra等开源系统上有深入的优化，提供物理文件级别的数据处理，比传统的数据复制效率提高10倍。同时在CPU、缓存、内存、网络IO上的整体优化使LTS提供一个高性价比的数据通道，减少客户数据流转、处理的...
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
单张图片
本文介绍单张图片全量选择时各配置项的含义。图表样式 单张图片是媒体组件的一种，支持自定义图片的URL地址和跳转链接，能够为数据看板和其他组件添加自定义的背景图...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
安全基线检查
策略名称 说明 日志监控审计 数据处理的全生命周期应具备记录和监控能力，确保数据处理过程可审计、可追溯。资产应开启日志审计或日志存储等功能。该策略检测数据库是否开启了安全日志审计、日志存储等功能。身份权限管理 数据的访问和使用...
Echarts 桑基图
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如桑基图配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
级联选择器
[{"label":"浙江","value":"zhejiang"}]请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如级联选择器配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求...
呼吸气泡层（v3.x版本）
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如呼吸气泡层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
分类玫瑰图（v4.x版本）
动作 动作 说明 请求分类玫瑰图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如分类玫瑰图配置了API数据源为 https://api.test ，传到 请求分类玫瑰图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
多维度饼图
请求多维度饼图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如多维度饼图配置了API数据源为 https://api.test ，传到 请求多维度饼图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
单点柱状层（v3.x版本）
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如单点柱状层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
分页
[{"total":400,"current":16,"pageSize":10,"disabled":[3,6,9]}]请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如分页配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
DataWorks节点合集
ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可统筹管理多个节点的虚拟节点、可循环执行代码的do-while节点），多种节点配合使用，满足您不同的数据处理需求。数据开发（DataStudio）支持...
区域热力层（v3.x版本）
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。切换...
数字翻牌器
[{"name":"第三季度营业额","value":283699,"prefix":"¥","suffix":"元"}]请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 https://api.test ，传到 请求数据接口 ...
多选下拉框
本文介绍多选下拉框全量选择时各配置项的含义。图表样式 多选下拉框是高级控件组件的一种，可以作为下拉框表单在数据看板中使用，将用户选择的数据提交到后端进行...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
基本概念
栅格数据（Raster Data）是将地理...DLA Ganos时空栅格 在DLA Ganos中，Tile为栅格数据处理的基本单元，所有栅格数据都以TileUDT的方式被Spark加载并参与计算,如下图所示：Ganos目前支持的栅格数据源包括：PolarDB Lindorm（HBase）OSS HDFS
带图饼图
请求带图饼图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如带图饼图配置了API数据源为 https://api.test ，传到 请求带图饼图接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。...
多维度饼图（v3.0及以上版本）
动作 动作 说明 请求多维度饼图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如多维度饼图配置了API数据源为 https://api.test ，传到 请求多维度饼图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
基本雷达图（v3.x版本）
动作 动作 说明 请求基本雷达图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如基本雷达图配置了API数据源为 https://api.test ，传到 请求基本雷达图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
时间范围选择器
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如时间范围选择器配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
带图饼图（v3.0及以上版本）
动作 动作 说明 请求带图饼图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如带图饼图配置了API数据源为 https://api.test ，传到 请求带图饼图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
功能发布记录（2023年）
2023.06.01 所有地域 所有DataWorks用户 行业模型模板 Kafka数据源实时同步Hologres并进行ETL Kafka数据源至Hologres的实时同步可以实现同步过程中对于Kafka的JSON含义解析，以及其他基本的数据处理，实现实时同步的ETL流程。支持指定JSON...
地图容器（v3.x版本）
return {"type":"flyTo",/类型"zoom":"1",/缩放级别"lng":"102.4",/经度"lat":"34.0"/维度 } 动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如基础平面地图配置了API数据源为 ...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
如何对JSON类型进行高效分析
PolarDB IMCI采用精简二进制方式存储JSON列存数据，且使用RapidJSON库解析JSON数据，处理过程中按需读取数据且利用列存压缩技术等有效减少IO量，同时充分利用SIMD和向量化及并行等加速运算。以实际测试数据为例展示列存中JSON用法及其行列...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
- 产品推荐
- 这些文档可能帮助您