数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
表流读写
保持多个流（或并发批处理作业）执行“仅一次”处理 使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源 当您将Delta表加载为流源并在流式查询中使用它时，该查询将处理表中存在的所有数据以及流启动后到达的所有新数据...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
数据流管理
数据流管理功能可以实现跨多索引存储，且仅追加时间序列数据，同时为请求提供唯一的命名资源。本文介绍如何创建数据流、查看或删除数据流、滚动更新数据流等。背景信息 数据流管理功能适用于日志、事件、指标和其他连续生成数据的场景。...
流式数据通道概述
MaxCompute流式数据通道服务可以解决流式服务使用批量数据通道写入数据引发的各种问题，优势如下：更优化的数据存储结构，解决高QPS写入导致的碎片文件问题。提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据...
常见问题（FAQ）
是的，您可以使用结构化流直接将数据写入Delta表并从Delta表中读取。Delta Lake是否支持使用Spark Streaming DStream API进行写入或读取？Delta不支持DStream API。我们建议进行表流读取和写入。使用Delta Lake时，是否可以轻松地将代码...
从Oracle迁移应用至阿里云PolarDB全流程指南
它底层的数据流基础设施为阿里双11异地多活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行6年之久。您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。云数据库PolarDB：PolarDB是阿里巴巴自主研发的下一代关系型...
新功能发布记录
DMS控制台切换 07月 功能名称 变更类型 功能描述 相关文档 离线集成 新增 离线集成是一种低代码开发数据加工任务的工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。离线集成概述 DevOps 新增 ...
Kafka数据源
常见问题 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？附录：脚本Demo与参数说明 附录：...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
集成表格存储Tablestore
云工作流 可以在流程中集成 表格存储（Tablestore），通过集成 Tablestore，您可以将流程运行中的各种数据持久化到 Tablestore 的某个表中，也可以将某个表的数据作为流程的数据源。本文分别从数据读取和数据写入两种场景，介绍 云工作流 ...
文档修订记录
复合指标 2023.7.13 新增功能 数据集成 实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。Kafka实时ETL同步至...
FTP数据源
不写"nullFormat"这个参数，等同于“未配置”，代表来源是什么数据就直接按照什么数据写入目标端，不做任何转换。否 无 markDoneFileName 标档文件名，数据同步前检查标档文件。如果标档文件不存在，等待一段时间重新检查标档文件，如果...
索引加速
该结构是一种有序的数据结构，可以按照指定的列进行排序存储。在这种数据结构上，以排序列作为条件进行查找，会非常的高效。在Aggregate、Unique和Duplicate三种数据模型中，底层的数据存储是按照各自建表语句中AGGREGATE KEY、UNIQUE KEY...
网络访问与安全设置
本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据...
产品整体介绍
另外在SQL基础上，支持Apache MADLib机器学习，PostGIS地理位置分析，以及JSON/JSONB半结构化数据，图片音频等非结构化数据与结构化数据融合分析功能。在部署形态层面，AnalyticDB PostgreSQL版 提供阿里云公共云服务，按量付费，支持垂直...
配置转换组件
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置，配置方法请参见 配置源库信息。重要 需要配置两个源库。在页面左侧，将 表 Join 节点拖拽至页面右侧...
设置资产数据源
配置数据过滤器 通过数据过滤器，您可以实现数据结构转换、筛选和一些简单的计算功能。在 设置数据源 页面中，选中 数据过滤器，启用数据过滤器功能。单击右侧的+，添加一个数据过滤器。在过滤器代码编辑框中，输入当前资产数据的过滤代码...
产品简介
什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache Kafka 的原始创建者构建，通过企业级功能扩展了 Kafka 的优势，同时消除了 ...
配置流程
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。根据页面信息完成ETL任务配置。创建ETL任务。说明 下文以 输入/维表 MySQL、字段计算器 和 输出 MySQL 节点为例进行介绍。源...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
区域统计
步骤二：写入流数据 Lindorm流引擎完全兼容开源Kafka API，您可以通过Kafka开源客户端或脚本工具连接Lindorm流引擎并写入测试数据。以通过开源Kafka脚本工具写入为例。下载并安装Kafka脚本工具。具体操作，请参见 通过开源Kafka脚本工具...
轨迹生成
步骤二：写入流数据 Lindorm流引擎完全兼容开源Kafka API，您可以通过Kafka开源客户端或脚本工具连接Lindorm流引擎并写入测试数据。以通过开源Kafka脚本工具写入数据为例。下载并安装Kafka脚本工具。具体操作，请参见 通过开源Kafka脚本...
Tair扩展数据结构概览
GeoSpatial GIS 无 TairGIS是一种使用R-Tree做索引，支持地理信息系统GIS（Geographic Information System）相关接口的数据结构。支持点、线、面的查询，支持包含、被包含、相交等多种关系判断。该数据结构已开源，更多信息请参见 TairGIS...
Tair命令概览
GeoSpatial GIS 无 TairGIS是一种使用R-Tree做索引，支持地理信息系统GIS（Geographic Information System）相关接口的数据结构。支持点、线、面的查询，支持包含、被包含、相交等多种关系判断。该数据结构已开源，更多信息请参见 TairGIS...
如何对JSON类型进行高效分析
半结构化数据发生结构变化时，无需每次都更改表结构，可以在查询频率不高时直接通过JSON列式函数实时计算。尤其在 PolarDB IMCI的JSON列存版本中，大部分情况下实时计算也能满足查询性能。PolarDB IMCI实现列存表的秒级加减虚拟列INSTANT ...
配置目标库信息
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置，配置方法请参见 配置源库信息。完成转换组件的配置，配置方法请参见 配置转换组件。在页面左侧，将 ...
什么是云数据库Redis版
支持String（字符串）、List（链表）、Set（集合）、Sorted Set（有序集合）、Hash（哈希表）、Stream（流数据）等多种数据结构，同时支持Transaction（事务）、Pub/Sub（消息订阅与发布）等高级功能。在社区版的基础上推出企业级内存数据...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
配置参数说明
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为...
通过Flink SQL模式配置ETL任务
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 FlinkSQL。单击 确认。在 数据加工 页面的 数据流信息 部分，添加源库和目标库。参数 说明 地区 选择数据源所在地域。类型 选择库表类型。...
统一服务
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
基本概念
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景：每个工作区都有一个开发场景和一个生产场景，它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程...
应用场景
自动驾驶 云原生内存数据库Tair 提供了时序数据结构 TairTS 和支持地理信息系统GIS（Geographic Information System）相关接口的数据结构 TairGIS，可以很好地应用在自动驾驶场景中。场景一：展示车辆实时轨迹 对自动驾驶车辆进行实时监控...
查看数据校验详情
本文介绍如何查看数据传输服务DTS（Data Transmission Service）数据校验任务的详情。前提条件 已创建并配置数据校验任务，详情请参见 配置数据校验。注意事项 在DTS同步或迁移实例中配置的校验任务，支持在实例详情和校验任务列表查看；...
流表
流表可以被看作为事件的集合，随着时间的推移，事件不断被添加到表中，因此该集合是无边界的。流表支持设置数据过期时间，默认为7天。流表中的时间属性：表示在某一时间、某个地点、某人发生了某一事件。时间属性包含了摄取时间、事件时间...
- 产品推荐
- 这些文档可能帮助您