产品简介
在不允许原始数据离开本地，同时又需要将原始数据与合作方数据进行联合分析的场景中，利用多方安全计算技术，可以实现数据可用不可见。在金融和医疗等行业中，满足参与方合规要求、数据价值保护诉求的前提下，完成数据价值的发掘、流通和...
功能特性
基于此，DataHub新上线的订阅服务提供了服务端保存用户消费点位的功能，用户只需要通过简单的几步配置，然后在自己的应用逻辑里添 创建订阅 删除订阅 查看订阅 数据流消息管理 数据流消息管理 对Project、Topic、shard、group的管理与操作...
概述
架构 Flume Agent是一个Flume的实例，本质是一个JVM进程，控制Event数据流从生产者传输到消费者。一个Flume Agent由Source、Channel、Sink组成。其中，Source和Channel可以是一对多的关系，Channel和Sink也可以是一对多的关系。基本概念 ...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
控制台发布记录
2024-02-22 配置数据库代理 租户管理与资源隔离 PolarDB MySQL版 提供的多租户模式，可以使得多个租户在同一个集群下共享计算资源和存储资源，且保证各租户下的数据隔离和资源隔离。各个租户仅能访问到自己的数据，租户之间不会出现资源...
集成与开发概览
离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的，进而对在线数据库、数据仓库的数据进行加工处理并同步至目的端。流式ETL。更多信息，请参见 流式ETL。通过可视...
我是DBA
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
我是管理员
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
连续查询
连续查询是一种简化的流计算能力，能够定期执行SQL查询，将查询结果存储在指定的数据表中，可用于预降采样和预计算，实现数据降精度长期存储以及查询性能提升。本文介绍Lindorm时序引擎连续查询的概念、使用方法和常见场景。背景信息 在...
概述
您可以创建SQL类型的流数据分析任务，并在边缘端执行该任务。边缘端SQL语法与云端Flink SQL语法完全一致，语法说明请参见 Flink SQL概述。在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的...
产品简介
计算巢AppFlow是计算巢平台上的一种高效的应用集成和自动化工具，旨在提升企业的工作流程自动化和数据流管理效率。AppFlow通过提供易于使用的界面和强大的后端逻辑，允许用户无需深入编程即可设计、部署和监控各种自动化任务和数据流。本...
POSITIVE
返回表达式的值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL positive(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL)参数说明 expr：必...相关函数 POSITIVE函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
NEGATIVE
返回表达式的负值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL negative(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL)参数说明 expr：...相关函数 NEGATIVE函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
监控指标说明
例如，在一个数据流中，不同的数据源可能会产生不同数量的记录，使用numRecordsInOfSourcePerSecond可以帮助您了解每个数据源的生成速度，并对数据流进行调整以达到更好的性能，同时该数据用于监控告警。如果该值为0，说明可能存在上游把...
需求分析
dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至MaxCompute各表，并通过ODPS SQL任务，基于MaxCompute计算引擎进行逐级加工处理...
ISNAN
判断表达式的值是否为 NaN，如果值为 NaN，返回True，否则返回False。命令格式 boolean isnan()参数说明 expr：必填。DOUBLE类型。...相关函数 ISNAN函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
配置流程
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。根据页面信息完成ETL任务配置。创建ETL任务。说明 下文以 输入/维表 MySQL、字段计算器 和 输出 MySQL 节点为例进行介绍。源...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
创建实例
您可以通过 云原生多模数据库 Lindorm 控制台创建Lindorm实例。本文介绍创建Lindorm实例的步骤，以及创建过程中各个参数的含义。前提条件 已注册阿里云账号。具体操作请参见 注册阿里云账号。免费试用 阿里云提供免费试用 云原生多模数据库...
UNHEX
返回十六进制字符串所代表的字符串。此函数为MaxCompute 2.0扩展函数。命令格式 binary unhex(string)参数说明 number：必填。为十六进制字符串。...相关函数 UNHEX函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
流式数据湖仓Paimon
增量数据产生机制 通过changelog-producer参数设置相应的增量数据产生机制，Paimon可以为任意输入数据流产生完整的增量数据（所有的update_after数据都有对应的update_before数据）。以下列举了所有的增量数据产生机制，更加详细的介绍请...
Serverless Spark概述
Spark一站式的引擎能力，可以同时提供SQL、流、机器学习、图计算的能力。传统Spark集群版的方案架构图如下所示：但是对于传统Spark集群版，用户首先需要部署一套开源大数据基础组件：Yarn、HDFS、Zookeeper等，可能会存在以下问题：使用...
心选市场售卖
本文介绍如何购买流数据服务Confluent商品。购买流程 在阿里云云市场流数据服务Confluent商品售卖页中点击“立即购买”，跳转至流数据服务Confluent集群创建管控页。在流数据服务Confluent集群创建管控页进行集群配置和商品购买。操作步骤 ...
2024-04-01版本
Elasticsearch CUMULATE对更新流WindowAggregate新聚合算子的支持 增强CDC数据流的窗口聚合能力。Queries语句 Kafka写入JSON数据空列不填充NULL，同时支持根据Header进行等值过滤的能力 优化了对Kafka存储容量的占用，帮您进行数据分流处理...
BackFill-给任务编排补数据
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM...
ATAN2
计算 expr1/expr2 的反正切函数。命令格式 double atan2(,)参数说明 expr1：必填。DOUBLE类型。输入为STRING、BIGINT、DECIMAL类型时，会隐式转换为...相关函数 ATAN2函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
产品简介
什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache Kafka 的原始创建者构建，通过企业级功能扩展了 Kafka 的优势，同时消除了 ...
产品架构
在查询时可以直接读取本地数据进行计算，极大地提升了查询的速度，有效避免了数据传输和拷贝的延迟。此外，存算一体支持多副本数据存储，提高了并发查询能力和数据的可靠性，非常适合对查询性能要求极高的场景。在StarRocks的存算一体架构...
查询执行模式
背景 云原生数据仓库AnalyticDB MySQL版（简称ADB MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，可以对海量数据进行即时的多维分析透视和业务探索。AnalyticDB MySQL 的执行引擎是MPP DAG的融合执行引擎，能够...
概述
MaxCompute Spark暂不支持如下场景：交互式和流计算类需求，例如Spark-Shell、Spark-SQL-Shell、PySpark-Shell、Spark Streaming等。不支持访问MaxCompute除OSS、Hologres以及HBase外部表之外的外部表、内建函数和自定义函数（MaxCompute ...
功能与优势
在Nexmark流计算标准性能测试中，性能是开源Flink的2倍左右，详情请参见 企业级状态后端存储介绍 和 性能白皮书（Nexmark性能测试）。SQL引擎在兼容开源Flink语法的同时增加了一系列优化，包括但不限于算子的状态结构优化、计算层延迟物化...
需求分析
dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至MaxCompute各表，并通过ODPS SQL任务，基于MaxCompute计算引擎进行逐级加工处理...
应用场景
在数仓场景下，经过ETL计算，可以获取指定用户的标签信息，包括兴趣标签、兴趣话题、搜索关键词等，除了基本信息。通过编写程序，将每日新增或修改的用户信息写入EMR HBase集群。利用该集群提供的用户画像数据，可以建立圈选服务，并根据...
Join优化
表R数据根据分区计算的结果发送到S表扫表的节点 Colocation Join 对于多个相关联的表，在建表时确保表的数据分片数量一致，相同Hash分桶在分布式系统中的分布一致，那么实际查询时就可以跳过数据的Shuffle过程，直接进行Join计算，提升查询...
长周期指标的计算优化方案
您可以通过增量累计方式计算长周期指标的方式，不需要读取N个分区的数据，而是把N个分区的数据压缩合并成一个分区的数据，让一个分区的数据包含历史数据的信息。场景示例 计算最近1天店铺商品的老买家数。老买家是指过去一段时间有购买的...
步骤三：创建实时计算表
本文为实时研发基本流程的创建实时计算表步骤，在准备工作中，订单系统MySQL中的oms_order包含了订单的信息，实时任务就需要从这张表中实时的抽取增量数据来计算GMV。现在我们需要创建一个订单表对应的实时元表，可以从订单表中读取增量...
步骤三：创建实时计算表
本文为实时研发基本流程的创建实时计算表步骤，在准备工作中，订单系统MySQL中的oms_order包含了订单的信息，实时任务就需要从这张表中实时的抽取增量数据来计算GMV。现在我们需要创建一个订单表对应的实时元表，可以从订单表中读取增量...
- 产品推荐
- 这些文档可能帮助您