函数概览
内建函数：流引擎内有多种函数，可以满足大部分业务场景的数据处理需求。内建函数的分类如下表：函数分类 相关文档 日期函数 STRINGTOTIMESTAMP TIMESTAMPTOSTRING 数学函数 ABS CEIL FLOOR RANDOM ROUND 字符串函数 LEN IFNULL TRIM ...
配置仪表盘推送节点
任务编排的仪表盘推送节点通过联动数据分析功能，可以将数据分析的图表直接推送至您（责任人、相关人员）的钉钉、钉钉机器人或邮箱中，免去您前往DMS数据服务查看图表的步骤。本文介绍如何配置仪表盘节点。准备工作 创建并配置仪表盘 登录 ...
简介
栅格化GIS应用及航天航空遥感应用 HBase Ganos提供了针对栅格数据管理的通用化模型支持，能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
用户管理
作为集群安全的一部分，数据流服务Confluent提供了用户管理功能。您可以在用户管理页面完成新增用户、修改密码、删除用户等操作。本文介绍用户管理的具体操作步骤。查看用户列表 首先登录 流数据服务Confluent管控页，点击集群管理>进入...
生成测试数据
模拟数据设置信息 显示创建模拟数据任务时您选择的 目标表、模拟生成数据量、批处理大小、插入模拟数据前清空表、数据冲突处理方式、实际插入记录、冲突记录、忽略插入、清除记录 和 规则设置展示 等信息。在任务信息面板右下角，单击 再次...
2021年
新功能 Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。基于DLF、RDS、OSS支持Delta Lake或Hudi存储机制 2021-08-...
产品概述
数据总线 DataHub 和StreamCompute无缝结合，可以作为StreamCompute的数据源和输出源，具体可参考 实时计算文档 流处理应用 用户可以编写应用订阅数据总线 DataHub中的数据，并进行实时的加工，把加工后的结果输出。用户可以把应用计算产生...
Trino概述
支持丰富的数据源：Hive Cassandra Kafka MongoDB MySQL PostgreSQL SQL Server Redis Redshift 本地文件 支持高级数据结构，具体如下：数组和Map数据 JSON数据 GIS数据 颜色数据 功能扩展能力强，提供了多种扩展机制：扩展数据连接器 ...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
补数据
补数据基于任意任务流的发布态版本，可通过指定业务时间或业务范围时间，生成一个或多个任务流实例（运行某条任务流的记录）。本文为您介绍如何给任务流补数据。使用场景 电商公司在多个时间段进行促销活动，需要分析促销活动带来的营收、...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
离线同步能力说明
提供限流功能控制同步流量，避免同步速度过快对数据来源端或者数据去向端造成太大的压力。说明 不限流的情况下则会提供现有硬件环境下最大的传输性能。分布式执行任务 部分数据源支持分布式执行任务，分布式执行模式可以将您的任务切片分散...
常见问题
您也可以通过函数计算来执行工作流，从而处理来自不同事件源的数据。云工作流 使用什么语言编写流程？云工作流 提供了流程定义语言（Flow Definition Language，简称FDL）让您像编写程序代码一样实现业务逻辑。更多信息，请参见 基本介绍。...
基本概念
任务节点类型如下：数据集成 数据加工 状态检查 通用 节点实例 若干个节点实例组成任务流实例，节点之间的依赖关系是基于当时运行的任务流版本。对于任务流的 恢复 操作，有且只有运行失败的节点实例会按照依赖关系再次运行。对于 重跑 ...
网络访问与安全设置
网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据服务Confluent集群。此时，除Control Center提供公网访问方式外，...
产品优势
全托管的Databricks数据洞察大数据分析平台，可以让您从繁杂的环境运维、内核优化等工作中解脱出来，专注于开发Spark作业本身。本文介绍Databricks数据洞察的产品优势。高效稳定 产品内核使用Databricks商业版的Runtime和Delta Lake。与...
产品功能
阿里云图数据库自动机器学习（Graph Database Auto Machine Learning，简称GDB Automl）支持数据处理、模型训练、数据预测和导出部署。本文为您详细介绍GDB Automl的产品功能。数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
配置学区地图单选框交互
使用同样的方式对 初中 节点进行连线并添加 串行数据处理 节点。最终的连线效果如下。连线的原理为：将 全选 的 串行数据处理 节点分别与 公办 和 民办 的 显示 动作连线。将 公办 的 串行数据处理 节点分别与 公办 的 显示 动作和 民办 的...
配置学区地图单选框交互
使用同样的方式对 初中 节点进行连线并添加 串行数据处理 节点。最终的连线效果如下。连线的原理为：将 全选 的 串行数据处理 节点分别与 公办 和 民办 的 显示 动作连线。将 公办 的 串行数据处理 节点分别与 公办 的 显示 动作和 民办 的...
应用场景
基因数据处理 云工作流 可以将多个批量计算分布式作业串联或并行编排，可靠地支持执行时间长、并发量大的大规模计算。如基因数据分析中将基因序列对齐，将所有染色体并行做变异分析，最终将各染色体数据聚合产出结果。云工作流 根据指定的...
数据脱敏
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
LLM数据处理
本文以开源项目RedPajama在GitHub中的少量数据为例，为您介绍如何使用PAI提供的LLM大语言模型数据处理组件，对GitHub代码数据进行数据清洗和处理。前提条件 已创建工作空间，详情请参见 创建工作空间。已将MaxCompute资源关联到工作空间，...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
运维中心
管理工作流记录信息的方式如下：工作流记录 在 工作流记录 页面，您可以查看工作流实例的相关信息，同时可以对工作流实例进行停止、暂停和恢复操作。功能 描述 详情 单击目标工作流实例所在行的 详情，可以查看工作流实例的详细信息，包括...
处理治理项问题
使用治理方案模板并配置治理项后，数据治理中心会根据配置的治理项检测目标租户下存在的治理项问题。您可以在DataWorks的治理工作台中查看可优化问题总数、可优化项排行、优化项类别及可优化的任务或表详情，及时发现并处理待治理问题。...
集成与开发概览
离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的，进而对在线数据库、数据仓库的数据进行加工处理并同步至目的端。流式ETL。更多信息，请参见 流式ETL。通过可视...
工作流概述
选择执行不同的工作流 手动 触发（任意路径）文件路径很多无法配置成统一路径，但工作流处理流程相同，需要手动提交 获取执行结果 控制台查询：登录媒体处理控制台，选择 工作流>工作流实例，查看详情。详见 执行实例。API查询：调用...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
X-Engine简介
为什么设计一个新的存储引擎 X-Engine的诞生是为了应对阿里内部业务的挑战，早在2010年，阿里内部就大规模部署了MySQL数据库，但是业务量的逐年爆炸式增长，数据库面临着极大的挑战：极高的并发事务处理能力（尤其是双十一的流量突发式暴增...
包年包月
欠费影响 如果您购买的服务已到期，您账户下的流数据处理Confluent服务会立即停机，即您将不能再继续使用流数据处理Confluent服务。如果停机后168小时依然欠费，流数据处理Confluent实例将会释放，实例释放后数据不可恢复，即您不能再使用...
IO加速
背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存操作相比，磁盘IO操作运行速度较慢，将会消耗更多的时间。当业务出现大规模数据读写或频繁数据读写请求时，磁盘IO...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
快速入门
您可以通过Lindorm流引擎的实时计算和分析能力处理轨迹点数据，并结合时空函数，实现多种实时轨迹分析需求，例如电子围栏、区域统计、轨迹生成等。前提条件 已开通Lindorm Ganos时空服务。如何开通，请参见 开通时空服务（免费）。已开通流...
路况层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看...
路况层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看数据响应结果。说明 还可将...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
- 产品推荐
- 这些文档可能帮助您