详细功能介绍
因为数据流从一开始就错了，再通过过滤器处理就没有意义了。过滤器报错：在过滤器对数据执行过滤过程中，如果代码执行出错会在界面两个地方有报错提示。图 1.报错一 图 2.报错二 管理过滤器面板 在可视化应用左侧的 数据过滤器 面板中，您...
云数据库Redis间的单向同步
本文以Redis实例间的单向数据同步为例，介绍数据同步作业的配置流程。前提条件 已创建目标Redis实例，创建方式，请参见 步骤1：创建实例。说明 DTS也支持云原生内存数据库Tair实例间和自建Redis间的单向同步，您可以参考本文进行配置。目标...
数据集成概述
数据传输：数据集成仅完成数据同步（传输），本身不提供数据流的消费方式。数据一致性：数据集成同步仅支持at least once，不支持exact once，即不能保证数据不重复，只能依赖主键+目的端能力来保证。说明 同步任务源端和目标端字段类型...
基本概念
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景：每个工作区都有一个开发场景和一个生产场景，它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程...
DataWorks V2.0
数据质量以数据集（DataSet）为监控对象，目前支持MaxCompute数据表和DataHub实时数据流的监控。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验并阻塞生产链路，避免问题数据污染扩散。同时，数据质量提供了历史校验结果的管理...
集群开通
本文介绍如何开通和配置流数据服务Confluent集群。开通购买流程 在 流数据服务Confluent管控页 进行集群初始化配置、网络设置等，并完成商品购买和集群部署。目前，流数据服务Confluent开通的Region为：北京、上海、深圳。如有新增Region...
开通数据订阅
数据订阅功能可以帮助您获取Lindorm的实时增量数据，及时掌握数据的变化情况。您可以在Lindorm管理控制台开通数据订阅功能，并根据自身业务需求消费增量数据，搭建多种业务场景。本文介绍在控制台开通数据订阅功能的方法。前提条件 已开通...
导入概述
Stream Load适用于导入本地文件，或通过程序导入数据流中的数据，详细信息请参见 Stream Load。同步导入 Routine Load Routine Load（例行导入）提供了一种自动从指定数据源进行数据导入的功能。您可以通过MySQL协议提交例行导入作业，生成...
PolarDB-X 2.0间的单向同步
使用数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB-X 2.0 间的单向数据同步。前提条件 已创建源和目标 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标 PolarDB-X 2.0 实例的存储空间须大于源 PolarDB-X 2.0 实例占用...
导入概述
Stream Load适用于导入本地文件，或通过程序导入数据流中的数据，详细信息请参见 Stream Load。同步导入 Routine Load Routine Load（例行导入）提供了一种自动从指定数据源进行数据导入的功能。您可以通过MySQL协议提交例行导入作业，生成...
功能特性
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
流数据服务Confluent对比开源Kafka
本文介绍流数据服务Confluent相较于开源Kafka具备哪些优势。流数据服务Confluent vs Kafka的具体优势如下：特性 Apache Kafka Confluent Platform 提供Connect和Streams组件 支持 支持 多编程语言开发 Client：C++，Python，Go，以及.NET ...
Control Center基本使用
Control Center是流数据服务Confluent的核心管理服务，提供了一个可视化的监控平台。本文介绍Control Center平台上的基本操作。详细的Control Center用户指南请参见 Control Center官方文档。登录Control Center 创建阿里云Confluent集群，...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
新功能发布记录
DMS控制台切换 07月 功能名称 变更类型 功能描述 相关文档 离线集成 新增 离线集成是一种低代码开发数据加工任务的工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。离线集成概述 DevOps 新增 ...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
计费说明
本文介绍流数据处理Confluent的版本、计费项目和产品定价，帮助您快速了解计费详情，按需选择产品计费方式。版本介绍 流数据处理Confluent对外提供三个版本，不同版本提供的功能不同，价格也不相同，版本的功能如下：标准版 Standard 专业...
数据统计
本文详细介绍如何查询视频直播中上行推流数据和下行播流数据。您可以登录 视频直播控制台，在 数据中心 下的 计费用量、数据监控、访问统计 下的页面中查询对应数据。资源监控 可以监控流量带宽-上行、流量带宽-下行、回源带宽流量、...
快速入门
您可以通过Lindorm流引擎的实时计算和分析能力处理轨迹点数据，并结合时空函数，实现多种实时轨迹分析需求，例如电子围栏、区域统计、轨迹生成等。前提条件 已开通Lindorm Ganos时空服务。如何开通，请参见 开通时空服务（免费）。已开通流...
集群资源规格评估建议
阿里云流数据服务Confluent组成架构 阿里云流数据服务Confluent是一个流数据平台，能够组织管理来自不同数据源的数据，是一个稳定高效的系统。如下图所示，它由六个组件构成，分别为Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB...
续费
本文介绍如何给流数据服务Confluent续费。集群续费 首先进入 集群管控页，点击集群管理>选择相应的集群>点击右上角“续费”按钮。在续费详情页面，会展示当前集群的broker数量以及对应的配置信息，在付费时长下拉框选择要续费的时长，勾选...
入门概述
自定义工作流demo 使用自定义工作流方式创建实验时，Designer为您提供百余种算法组件，并支持接入MaxCompute表数据或OSS数据等多种数据源，提高建模效率，demo流程如下。新建自定义工作流 将原始数据上传至MaxCompute或OSS中，并配置工作流...
区域统计
Lindorm Ganos时空服务提供了丰富的函数和数据类型，方便您对时空数据进行计算和分析。您可以通过Ganos时空服务预先设定地理围栏，并根据业务需求灵活使用时空函数，结合Lindorm流引擎的实时计算能力，实现基于地理围栏的实时区域统计功能...
审批中心概述
自定义审批策略后，后续进行表权限申请与审批、数据服务权限申请与审批、数据集成任务保存时，流程如 表字段权限申请与审批流程、数据服务权限申请与审批流、数据集成任务审批流程、扩展程序审批流程 所示。表字段权限申请与审批流程 在 ...
轨迹生成
Lindorm流引擎读取车辆的实时位置点数据，定期（每小时、每天）将位置点拼接为轨迹，再将聚合后的轨迹线数据写入至数据库，不仅保证了对车辆行驶轨迹数据的实时处理和分析能力，同时也减轻了数据库在处理高频率追加写入操作时的IO压力。...
扩容
本文介绍流数据服务Confluent如何扩容。集群扩容 当您的集群出现数据业务瓶颈时可以选择扩容操作，当前集群只支持水平扩容。首先进入 集群管控页，点击集群管理>选择相应的集群>点击右上角“扩容”按钮。在扩容详情页面，从新增资源下拉...
通过SQL写入数据
本文介绍如何快速通过Lindorm流引擎进行数据读写。前提条件 已开通流引擎。如何开通，请参见 开通流引擎。已安装Java环境，要求安装JDK 1.8及以上版本。已将客户端IP地址添加至Lindorm白名单。具体操作，请参见 设置白名单。操作步骤概览 ...
页面组件通用属性
绑定实体对象列表 支持绑定返回实体对象列表的数据源，包括上下文、数据库或逻辑流数据源：上下文 上下文数据源可以选择任意父级数据容器绑定的实体对象的对多关联，表示通过“关联”获取实体对象列表。数据库 数据库数据源可以选择实体，...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
创建实例
流引擎：可按需选择 流数据节点规格 和 流数据节点数量，以core为单位。说明 若商品类型选择 Lindorm轻量版，则不支持此功能。若 存储类型 选择 本地SSD盘 或 本地HDD盘，不支持选择数据引擎的节点规格，仅支持选择 本盘节点规格 和数据...
典型使用场景
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
DataHub数据源
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
文档更新动态（2022年）
新功能 安全设置 2022年05月08日 新增支持ClickHouse数据源 新增支持ClickHouse数据源，您可以将ClickHouse数据源业务数据引入至Dataphin或将Dataphin数据导出至ClickHouse。新功能 创建ClickHouse数据源 2022年05月08日 脚本实例和逻辑表...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
存储类型
存储类型说明 云原生多模数据库Lindorm支持的存储类型及其适用场景如下：存储类型 访问延迟 适用场景 支持的引擎类型 扩展能力 标准型云存储 3ms~5ms Feed流数据、聊天、实时报表、在线计算等实时访问数据。宽表引擎、时序引擎、搜索引擎、...
盲区会车
步骤二：接入流数据 本示例将通过开源Kafka脚本工具连接Lindorm流引擎。连接Lindorm流引擎，并创建名为 logVehicle 的Topic。详情请参见 通过开源Kafka脚本工具连接Lindorm流引擎。执行如下命令，将 示例数据 写入到已创建的Topic中。bin/...
Kafka兼容说明
流引擎的流表兼容Kafka协议，支持通过开源Kafka客户端写入数据，也支持通过Kafka生态工具将MySQL、日志等数据投递至流引擎。本文介绍通过开源Kafka客户端将数据写入流表的操作步骤。操作步骤 获取流引擎连接地址。具体操作，请参见 查看...
流表
流表可以被看作为事件的集合，随着时间的推移，事件不断被添加到表中，因此该集合是无边界的。流表支持设置数据过期时间，默认为7天。流表中的时间属性：表示在某一时间、某个地点、某人发生了某一事件。时间属性包含了摄取时间、事件时间...
- 产品推荐
- 这些文档可能帮助您