Control Center基本使用
Control Center是流数据服务Confluent的核心管理服务，提供了一个可视化的监控平台。本文介绍Control Center平台上的基本操作。详细的Control Center用户指南请参见 Control Center官方文档。登录Control Center 创建阿里云Confluent集群，...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
MaxCompute账单用量明细分析
说明 一次标准版SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）一次SpotSQL计算费用=计算输入数据量×SQL复杂度×单价（0.1元/GB）通过Excel分析：分析 用量明细 中数据分类为 ComputationSql 的数据。对SQL作业费用进行排序，...
MaxCompute表的高级功能
如果您使用TOUCH操作，MaxCompute会认为表或分区的数据有变动，生命周期的计算会重新开始，举例如下。ALTER TABLE table_name TOUCH PARTITION(partition_col='partition_col_value',.);说明 合理规划表的生命周期，在创建表时设置生命周期...
功能发布记录（2024年）
新版补数据支持的补数据方式如下：手动选择 按链路选择 按工作空间选择 指定任务及所有下游 2024.3.28 所有地域 所有DataWorks用户 执行补数据并查看补数据实例（新版）开放平台支持通过函数计算开发部署扩展程序 在DataWorks的扩展程序中...
计算抵扣包和存储抵扣包
MaxCompute提供了两种资源抵扣包：计算抵扣包和存储抵扣包，抵扣您使用MaxCompute实例时产生的计算和存储用量，增加计算和存储按量计费模式使用的灵活性。本文为您介绍计算抵扣包和存储抵扣包的使用注意事项、价格、规格优惠等信息。计算...
自定义函数（邀测中）
AnalyticDB for MySQL 未开启压缩，将数据直接传输至函数计算服务，函数计算服务经过计算后，将计算结果使用GZIP格式压缩后返回给 AnalyticDB for MySQL，导致 AnalyticDB for MySQL 无法解析数据。调用 REMOTE_CALL 函数时，出现 parse ...
2024年
您可以以更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析及科学计算、ML/AL开发等工作。MaxFrame功能介绍和使用说明请参见 MaxFrame概述。您有任何相关问题或需要协助，可以通过您的专...
镜像管理
MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像，无需执行繁琐的镜像打包、上传...
迁移方案
本文为您介绍阿里云实时计算Blink独享或共享集群（Blink计算引擎和Bayes开发平台）的业务迁移至实时计算Flink全托管（Flink计算引擎VVR和开发平台VVP）时的迁移限制、迁移方案和常见问题。迁移限制 由于Blink作业的State和Flink的State无法...
支持的连接器
作业首先从订单数据源表读取实时订单数据，将订单数据流与用户信息静态维表进行Join，然后按地区聚合统计订单总额，最后将统计结果写入结果表。在这个作业中，订单表作为驱动源表输入，用户信息表作为静态维表，统计结果表作为作业最终输出...
功能特性
计算引擎 功能集 功能 功能描述 参考文档 XIHE引擎 XIHE MPP执行模式 MPP计算过程采用pipeline流式计算，满足低延迟的交互式分析场景。XIHE BSP执行模式 BSP采用批计算架构，通过DAG进行任务切分，分批调度。BSP支持计算数据落盘，适用于...
引擎简介
流引擎面向流式数据，实现了流存储和流计算的融合一体化，提供高效的实时数据处理能力。同时，在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合，共享存储，提供完整统一的数据库体验。此外，流引擎与 时空引擎、AI...
盲区会车
步骤三：提交流引擎计算任务 使用Flink SQL提交Lindorm流引擎计算任务，读取开源Kafka topic中的数据并结合宽表数据做计算。连接到Lindorm流引擎，详情请参见 使用流引擎。创建盲区会车计算任务。在如下的示例任务中，判断编号为10的车辆...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向...
CREATE CQ
每当流表中有数据插入，如果符合预设的查询条件，则可以将该数据存储下来，作为实时计算的数据来源。本文介绍如何通过DML语句创建持续查询。语法 CREATE CQ cq_name INSERT INTO[catalog_name.][db_name.]table_name[column_list]select_...
统一服务
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
基本概念
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景：每个工作区都有一个开发场景和一个生产场景，它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程...
基于Flink+Hologres搭建实时数仓
使用read_warehouse_1查询order_dw数据库中Table Group（本示例为order_dw_tg_default）的数据时，为计算组read_warehouse_1加载order_dw_tg_default，以实现使用 init_warehouse 计算组写入数据，使用 read_warehouse_1 计算组进行服务...
流式ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
什么是ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于灰度公测阶段，仅部分用户可以使用。每个账号可以免费创建两个ETL实例，...
持续查询
Source表示数据源头的流表，Operator表示计算逻辑，Sink表示存储计算结果的结果表。每当源头的流表有数据插入，就会触发Operator进行计算，并将计算结果写入至Sink表中。使用示例 CREATE CQ cq_name INSERT INTO sink_table SELECT user,...
概述
流数据分析提供了连接边缘端消息总线的能力，您可以通过配置消息路由将设备数据传入到流数据分析中，利用流数据分析方便地对设备数据进行实时计算，并将结果输出到RDS、本地文件、函数计算或IoTHub中。本使用示例将会从多个使用场景来讲述...
AGS概览
ACK One分布式工作流Argo集群，是面向批处理、数据处理、科学计算、持续集成等业务场景，提供托管开源Argo的工作流集群，可以实现大规模工作流编排与高效弹性运行，并优化运行成本。WDL工作流 WDL（Workflow Description Language）是由...
新建补数据计划
任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例，介绍如何新建补数据计划。在任务流中新建补数据计划 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，...
新建补数据计划
任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例，介绍如何新建补数据计划。在任务流中新建补数据计划 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
羲和分析计算引擎
比如：利用数据分布，直接进行基于特定数据的计算，避免分布式系统中数据和命令流交互的开销。利用数据存储的能力，下推谓词、聚合等计算，实现近存储的计算加速。利用数据模型中的范式依赖，数据数值类型等进行查询执行算法优化。
概述
新建补数据计划：支持在任务流和离线计算任务中补数据。终止补数据计划：支持补数据计划运行后进行终止操作。查看补数据计划：支持查看补数据的运行状态、节点类型、业务日期，以及查看对应节点的运维信息，包括实例信息、任务代码、实例...
概述
新建补数据计划：支持在任务流和离线计算任务中补数据。终止补数据计划：支持补数据计划运行后进行终止操作。查看补数据计划：支持查看补数据的运行状态、节点类型、业务日期，以及查看对应节点的运维信息，包括实例信息、任务代码、实例...
任务中心
新建补数据计划：支持在任务流和离线计算任务中补数据。终止补数据计划：支持补数据计划运行后进行终止操作。查看补数据计划：支持查看补数据的运行状态、节点类型、业务日期，以及查看对应节点的运维信息，包括实例信息、任务代码、实例...
使用ETL分析实时订单
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。执行如下操作，配置流表和维表信息。配置流表信息 页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击...
应用场景
技术领域 从技术领域的角度，实时计算Flink版主要用于以下场景：实时ETL和数据流 实时ETL和数据流的目的是实时地把数据从A点投递到B点。在投递的过程中可能添加数据清洗和集成的工作，例如实时构建搜索系统的索引、实时数仓中的ETL过程等。...
普通集成
允许 云工作流 通过调用弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的多个阿里云服务的接口实现业务流程编排。本文介绍普通集成的操作步骤和支持普通集成的阿里云服务列表。操作步骤 本文以集成 云服务器...
订单结算
本文以订单结算为例，详细说明如何通过流数据分析的维表Join功能，将物联网设备产生的数据（识别器识别的商品及订单编号）和数据库中的数据（商品价格表）进行连接。示意图如下所示。前提条件 请您确保已创建边缘实例，具体操作请参见 专业...
LAST_VALUE
本文为您介绍如何使用LAST_VALUE函数，返回指定数据流的最后1条非NULL数据。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持LAST_VALUE函数。语法 T LAST_VALUE(T value)T LAST_VALUE(T value，BIGINT order)入参 参数 数据类型 说明 ...
FIRST_VALUE
本文为您介绍如何使用FIRST_VALUE函数，返回指定数据流的第1条非NULL数据。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持FIRST_VALUE函数。语法 FIRST_VALUE(T value)FIRST_VALUE(T value,BIGINT order)入参 参数 数据类型 说明 value ...
数据传输与迁移概述
流计算任务写入 Flink写入MaxCompute结果表。流数据同步任务写入 DataHub数据同步MaxCompute。KafKa数据同步MaxCompute。自定义写入 SDK写入-流式数据通道（Streaming Tunnel）。离线数据批量数据写入（外表-湖仓一体）场景特征：主要用于...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
- 产品推荐
- 这些文档可能帮助您