SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
函数概览
函数 说明 窗口函数 将数据流分割为指定大小的集合，并支持基于集合进行计算。聚合函数 返回一组数值的统计或计算结果。条件函数 返回指定条件下的数据处理、判断等结果。比较函数 比较两个或多个对象的值，并返回比较结果。算术函数 返回...
管理数据树
若当前数据为栅格数据，您还可以做以下操作。查看栅格元数据：在数据表 操作 栏单击 图标，查看栅格元数据。名称 说明 坐标参考系 表示栅格的坐标系。宽度 表示栅格的分辨率中的宽度值。高度 表示栅格的分辨率中的高度值。数据类型 表示...
数据质量：全流程的质量监控
数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
概述
架构 Flume Agent是一个Flume的实例，本质是一个JVM进程，控制Event数据流从生产者传输到消费者。一个Flume Agent由Source、Channel、Sink组成。其中，Source和Channel可以是一对多的关系，Channel和Sink也可以是一对多的关系。基本概念 ...
INSERT INTO
数据流表支持写入新的数据行，本文介绍通过DML语句将值插入流表中。语法 INSERT INTO[catalog_name.][db_name.]stream_name VALUES values_row[,values_row.]values_row:(val1[,val2,.])参数说明 参数 是否必选 说明 catalog_name 否 目标...
配置流程
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。根据页面信息完成ETL任务配置。创建ETL任务。说明 下文以 输入/维表 MySQL、字段计算器 和 输出 MySQL 节点为例进行介绍。源...
通过Flink SQL模式配置ETL任务
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 FlinkSQL。单击 确认。在 数据加工 页面的 数据流信息 部分，添加源库和目标库。参数 说明 地区 选择数据源所在地域。类型 选择库表类型。...
配置转换组件
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置，配置方法请参见 配置源库信息。重要 需要配置两个源库。在页面左侧，将 表 Join 节点拖拽至页面右侧...
心选市场售卖
本文介绍如何购买流数据服务Confluent商品。购买流程 在阿里云云市场流数据服务Confluent商品售卖页中点击“立即购买”，跳转至流数据服务Confluent集群创建管控页。在流数据服务Confluent集群创建管控页进行集群配置和商品购买。操作步骤 ...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
集成与开发概览
离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的，进而对在线数据库、数据仓库的数据进行加工处理并同步至目的端。流式ETL。更多信息，请参见 流式ETL。通过可视...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
Quick BI
不支持添加度量到维度或不支持添加维度到度量 处理方法：数据集表定义中，维度或度量有明确定义，如果需要用度量的某列做维度，可以在数据集编辑页面单击右键，单击 转换为维度/度量，单击 保存，在仪表盘页面刷新，即可获得修改后的表结构...
EMR数据开发（旧版）停止全面支持公告
迁移流程 您可以轻松地将EMR数据开发（旧版）中的工作流和任务导出，并通过EMR Workflow的导入功能，实现工作流和任务的快速迁移。阿里云EMR团队会在整个迁移过程中做好支持和保障工作，以确保快速平滑迁移。步骤 具体描述 参与方 预计耗时...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
Redis数据迁移方案概览
DTS介绍 DTS 是阿里云提供的实时数据流服务，集数据迁移、订阅、同步于一体，为您提供稳定安全的传输链路。DTS支持全量数据迁移和增量数据迁移，可实现不停服迁移，降低对业务的影响。表 1.迁移支持度 工具 支持的源库 支持的目标库 支持的...
通过流引擎实现交易数据实时统计
创建数据流表。通过Lindorm-cli连接Lindorm流引擎，具体操作请参见 通过Lindorm-cli连接并使用Lindorm流引擎（旧接口不推荐）。CREATE STREAM IF NOT EXISTS orders(`biz` STRING,`order_id` STRING,`price` DOUBLE,`detail` STRING,`...
分配流数据分析到边缘实例
本文介绍创建流数据分析任务、发布任务和分配流数据分析任务到边缘实例的整个步骤。前提条件 请您确保已创建完成边缘实例，具体操作请参见 专业版环境搭建。操作步骤 登录 数据分析控制台。创建、设置并发布流数据任务。具体操作，请参见 ...
SHOW STREAMS
语法 说明 查询Lindorm流引擎中数据流表的列表信息也可以使用 LIST STREAMS。SHOW STREAMS;示例 Show Streams;返回结果如下：+-+|ShowStreams|+-+|Stream Name|Stream Topic|Format-originalData|log_topic|JSON-|+-+1 row selected(0.13 ...
产品优势
本文介绍流数据服务Confluent的产品优势。流数据服务Confluent使客户的流处理服务享受Confluent platform的企业级特性。以下介绍Confluent的业界优势：Confluent是Apache Kafka的原创者开发的产品。Confluent团队撰写提交了80%的Kafka代码...
常见问题
本文档根据实践，介绍了本案例中比较常见的两个问题及解决方法。流计算中注册 RDS数据存储 失败。可能原因：您的RDS数据库与流计算项目不...参考文档：【流数据与大屏DataV】如何使用DTS，DataHub，StreamCompute，RDS及DataV搭建流数据大屏。
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
管理数据集
当数据集是由数据库创建时，您可以做以下操作。单击 数据库连接 后的 设置，修改数据库连接信息。单击 数据定时同步 后的 设置，打开 启用 开关，设置 定时执行 的类型，例如：每月第一天早上10点整进行数据同步。单击 数据定时同步 后的 ...
任务编排之电商打标
您可以通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。背景信息 电商做大促活动时，常会推出优惠活动，例如用户累计消费达到一定额度，发放对应额度的优惠券。本文使用任务编排中的 单实例SQL赋值节点、...
表流读写
保持多个流（或并发批处理作业）执行“仅一次”处理 使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源 当您将Delta表加载为流源并在流式查询中使用它时，该查询将处理表中存在的所有数据以及流启动后到达的所有新数据...
Binlog日志服务
单流形态：即单流binlog日志（也称为Global binlog），将所有DN的binlog归并到同一个全局队列，提供了保证事务完整性和有序性的日志流，可以提供更高强度的数据一致性保证。例如在转账场景下，基于Global binlog接入 PolarDB-X 的下游MySQL...
流数据服务Confluent对比开源Kafka
本文介绍流数据服务Confluent相较于开源Kafka具备哪些优势。流数据服务Confluent vs Kafka的具体优势如下：特性 Apache Kafka Confluent Platform 提供Connect和Streams组件 支持 支持 多编程语言开发 Client：C++，Python，Go，以及.NET ...
EMR数据开发停止更新公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
服务集成模式
仅在以下三种情况下，云工作流 可以中止任务。流程执行已停止。并行（Parallel）状态的另一个分支因为被捕获的错误而失败。循环（Map）状态的迭代失败，错误未被捕获。流程引擎将尽最大努力取消任务，例如，当前流程采用等待系统回调...
EMR旧版数据开发迁移公告
迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache Dolphinscheduler的工作流描述JSON文件，通过EMR Workflow的导入功能，您可以快速导入工作流和任务，实现快速的迁移，从而节省大量的迁移...
集成简介
对于某些集成服务，Serverless 工作流 可以等到该服务的任务运行完成后再进入下一个步骤。一般这类服务为执行某个任务提供了任务启动（异步）的接口，需要提交任务并等待任务执行完成再进行下一步骤。在FDL步骤中使用 resourceArn 描述目标...
计费说明
本文介绍流数据处理Confluent的版本、计费项目和产品定价，帮助您快速了解计费详情，按需选择产品计费方式。版本介绍 流数据处理Confluent对外提供三个版本，不同版本提供的功能不同，价格也不相同，版本的功能如下：标准版 Standard 专业...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，如果数据使用空格作为列分隔符，或需要对数据做正则表达式过滤时，如何解决？Tunnel Upload完成后，存在脏数据，如何解决？Tunnel Download Tunnel Download导出格式有哪些？在同一地域内使用Tunnel ...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
- 产品推荐
- 这些文档可能帮助您