区域统计
您可以通过Ganos时空服务预先设定地理围栏，并根据业务需求灵活使用时空函数，结合Lindorm流引擎的实时计算能力，实现基于地理围栏的实时区域统计功能。背景信息 在很多基于时空位置的场景中，都有根据地理区域范围进行聚合查询的需求，...
轨迹生成
bin/kafka-console-producer.sh-bootstrap-server地址>-topic tdrive步骤三：提交流引擎计算任务 使用Flink SQL提交Lindorm流引擎计算任务，读取Kafka Topic中的数据进行计算。连接Lindorm流引擎。如何连接，请参见 使用流引擎。提交计算...
引擎简介
流引擎面向流式数据，实现了流存储和流计算的融合一体化，提供高效的实时数据处理能力。同时，在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合，共享存储，提供完整统一的数据库体验。此外，流引擎与 时空引擎、AI...
什么是消息路由
流数据分析到函数计算应用 IoT Hub至函数计算应用。关于消息路由QoS（消息投递质量），目前Link IoT Edge 八种 消息路由路径全部支持QoS=0；目的端为IoT Hub的消息路由路径还支持QoS=1。说明 QoS=0表示消息仅发送一次，不管是否被目的端...
企业级状态后端存储介绍
GeminiStateBackend是一款面向流计算场景的KV存储引擎，作为实时计算Flink版产品的默认状态存储后端（StateBackend）。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计，以及其与RocksDBStateBackend的性能对比情况。整体介绍...
基本概念
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景：每个工作区都有一个开发场景和一个生产场景，它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程...
支持的云服务
阿里云产品 说明 DataWorks DataWorks是基于MaxCompute计算和存储，提供工作流可视化开发、调度运维托管的一站式海量数据离线加工分析平台。您可以将DataWorks理解为MaxCompute的一种Web客户端，MaxCompute是DataWorks的一种计算引擎。...
什么是EMR Serverless StarRocks
使用数据湖的优势在于可以使用开放的存储格式和灵活多变的Schema定义方式，可以让BI、AI、AdHoc、报表等业务维持在统一的单点身份可信（Single Source of Truth），而StarRocks作为数据湖的计算引擎，可以充分发挥向量化引擎和CBO（Cost ...
公告
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
通过Kafka写入数据
您可以将原始数据存储在Kafka Topic，并通过Flink SQL在流引擎中创建实时计算任务，对原始数据进行高效计算和处理。本文介绍如何使用Flink SQL提交流引擎计算任务将Kafka Topic中的数据导入至Lindorm宽表。前提条件 已开通Lindorm流引擎。...
基础版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）基础版的Spark全密态计算引擎可以加密敏感数据，并将数据以密文的形式传输和存储，只有密钥拥有者才能解密数据，避免数据泄露。本文 以云数据库RDS MySQL例，介绍使用基础版Spark全密态计算引擎加密数据，...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
2022-03-04版本
系统检查点或作业快照的超时与失败 性能优化 企业级状态存储后端在本次新版本中包含了大量优化，极大提升了双流或多流Join作业的性能，计算资源利用率平均可以提升50%，典型场景下可以提升100%~200%，帮助您更平滑地运行有状态的流计算应用...
概述
AnalyticDB MySQL Spark全密态计算引擎是首批通过信通院隐私计算可信执行环境《产品性能》和《安全功能》两项认证的产品，它可以加密敏感数据，避免数据泄露。您可以通过本文，了解Spark全密态计算引擎在安全合规等领域的应用场景、功能...
产品优势
让您可以在同一DAG图中，构建异构计算引擎形成混编任务流（数据同步+SQL+MR+MaxCompute Spark+实时计算+ML），无需分别维护各技术栈，助您高效组合混编任务流。人效提升快 一键开通即可完成开箱即用的数仓技术架构搭建，告别繁重的自研、...
AGS概览
ACK One分布式工作流Argo集群，是面向批处理、数据处理、科学计算、持续集成等业务场景，提供托管开源Argo的工作流集群，可以实现大规模工作流编排与高效弹性运行，并优化运行成本。WDL工作流 WDL（Workflow Description Language）是由...
配置转换组件
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置，配置方法请参见 配置源库信息。重要 需要配置两个源库。在页面左侧，将 表 Join 节点拖拽至页面右侧...
企业版产品系列
不同数据库可以在不同计算节点秒级动态调度，极大提升整体的并发读写能力。多主互备（省去备节点）如果某个主节点发生故障，可秒级切换到其他低流量主节点，同时由于没有额外的用于热备的闲置资源，成本降低一半。全局只读节点 可以在全局...
流式ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
温度平均值计算
本文以计算五秒温度平均值为例，详细说明如何使用流数据分析预置的算子（统计、窗口等）实现五秒温度平均值的计算并存入数据库中。本文操作中，步骤一至步骤四主要说明如何计算平均温度，步骤五主要说明如何将计算结果保存到数据库中，步骤...
什么是ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于灰度公测阶段，仅部分用户可以使用。每个账号可以免费创建两个ETL实例，...
关于我们
产品团队是隐私计算联盟的成员，其参与的隐私计算标准有：国家标准《个人信息去标识化效果分级评估规范》国家标准《信息安全技术多方数据融合计算安全指南》行业标准《基于安全多方计算的数据计算平台技术要求与测试方法》行业标准《基于...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
内建函数概述
之后对于每一行数据（当前行），会按照窗口定义中的 frame_clause 从数据流中截取一段数据，构成当前行的窗口。窗口函数会根据窗口中包含的数据，计算得到窗口函数针对当前行对应的输出结果。partition by[,.]：可选。指定分区。分区列的值...
使用流程
连接数据源：您也可以通过DLA直接连接其他数据源或者OSS来进行数据分析与计算。具体操作请参见 Presto引擎连接数据源 和 Spark引擎连接数据源。数据分析与计算：您可以调用Serverless Presto和Spark引擎来进行数据分析与计算。具体请参见 ...
通过流引擎实现地理围栏监控
将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中，将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内，并将异常车辆数据输出到output_stream数据流表，同时也可以订阅异常数据进行报警。场景实现的原理...
流式数据通道概述
流计算Flink：默认使用批量数据通道，支持流式数据通道插件，详情请参见 使用阿里云Flink（流式数据传输）。实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？...
Control Center基本使用
ksqlDB使用 ksqlDB是一个用于Apache kafka的流式SQL引擎，ksqlDB降低了进入流处理的门槛，提供了一个简单的、完全交互式的SQL接口，用于处理Kafka的数据，可以让我们在流数据上持续执行 SQL 查询，ksqlDB支持广泛的强大的流处理操作，包括...
配置流入湖任务延迟监控
您可以通过云监控查看数据湖构建（DLF）流任务延迟状况，以及为每一个流任务设置报警规则，帮助您监控流任务运行状态。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。查看流任务监控数据 您可以在...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
将时空数据写入宽表引擎
创建计算任务，将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data SELECT*FROM gps_data_stream;使用时空函数，支持的时空数据类型和时空函数请参见 空间数据类型 和 函数概览。CREATE CQ gps_...
电子围栏
而车辆的实时数据（坐标信息）是实时上传的，可以将车辆的实时数据存储到Kafka中，再由Lindorm流引擎通过订阅Kafka中的实时数据，实时计算多个车辆位置和地理围栏之间的关系。本示例提供的Lindorm流引擎电子围栏查询支持内存索引和并行计算...
SetStreamMode
按需拉流 有需要时才拉流，可以节省设备上行带宽，但从开始拉流操作到实际取到码流数据需数秒时间。适用于成本敏感或计划性较强的场景。典型场景如存储并分析工作日每天9:00~17:00的视频。2.持续拉流 后台维持拉流会话，会消耗设备上行带宽...
审批中心概述
进行自定义审批策略设置时，您可以按照项目范围来框定管控的数据范围并制定审批人、审批通知方式等信息，也可以按照数据分级分类来，并且可以根据需求制定两种方式的优先级，操作详情可参见 计算引擎审批策略。数据服务权限申请与审批流 ...
我是安全管理员
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
分配流数据分析到边缘实例
本文介绍创建流数据分析任务、发布任务和分配流数据分析任务到边缘实例的整个步骤。前提条件 请您确保已创建完成边缘实例，具体操作请参见 专业版环境搭建。操作步骤 登录 数据分析控制台。创建、设置并发布流数据任务。具体操作，请参见 ...
E
返回 e 的值。此函数为MaxCompute 2.0扩展函数。命令格式 double e()返回值说明 返回DOUBLE类型。使用示例-返回2.718281828459045。select e();相关函数 E函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
PI
返回π的值。此函数为MaxCompute 2.0扩展函数。命令格式 double pi()返回值说明 返回DOUBLE类型。使用示例-返回3.141592653589793。select pi();相关函数 PI函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
- 产品推荐
- 这些文档可能帮助您