CreateDataFlow-创建数据流动
自动更新 配置自动更新（AutoRefresh）后，当源端存储数据发生变化时，变化的元数据会自动同步到 CPFS 文件系统，变化的数据会在用户访问文件时按需加载，或者启动数据流动任务加载数据。自动更新依赖 EventBridge 收集源端 OSS 存储的对象...
ALIYUN:NAS:DataFlow
ALIYUN:NAS:DataFlow类型用于创建一个CPFS文件系统与源端存储的数据流动。语法 {"Type":"ALIYUN:NAS:DataFlow","Properties":{"FsetId":String,"SourceStorage":String,"Description":String,"SourceSecurityType":String,"FileSystemId":...
数据流动概述
文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后，CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...
管理数据流动
如果多个CPFS的数据流动、或者同一个CPFS的多个数据流动的源端存储是同一个OSS Bucket，为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突，需要该OSS Bucket开启版本控制。更多信息，请参见 版本控制介绍。如果要配置自动...
管理数据流动
如果多个CPFS智算版文件系统的数据流动，或者同一个CPFS智算版文件系统的多个数据流动的源端存储是同一个OSS Bucket，为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突，需要该OSS Bucket开启版本控制。更多信息，请参见 ...
ModifyDataFlow-修改数据流动
修改数据流动的属性。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。仅支持状态为 Running（正常）状态的数据流动修改属性。修改数据流动一般耗时 2~5 分钟，您可以通过 DescribeDataFlows 查询...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS智算版文件系统的数据流动任务及查看任务报告。前提条件 已创建数据流动。具体操作，请参见 创建数据流动。任务说明 数据流动任务可分为导入（Import）和导出（Export）两种类型。类型 说明 ...
StopDataFlow-停用数据流动
停用一个数据流动。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能停用 Running（正常）状态的数据流动。停用后，不可在数据流动上创建数据流动...
StartDataFlow-启用数据流动
启用一个数据流动。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能启动 Stopped（停止）状态的数据流动。当 DryRun 为 true 时，可校验启动该...
概述
在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的数据存储大部分是不相同的。类型 描述 源表 流式数据存储，驱动流数据分析的运行。每个流数据分析任务必须提供至少一个流式数据存储。边缘...
通过流引擎实现地理围栏监控
参数说明如下：参数 是否必选 描述 stream_topic 是 指定数据流表的物理数据存储在流存储的某个Topic。value_format 是 指定数据源写入Lindorm流引擎的数据格式，取值如下：CSV Avro JSON key_value 是 指定数据流表的主键列。stream_...
DeleteDataFlow-删除数据流动
删除一个数据流动。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持删除 Running、Stopped 状态的数据流动。删除后，数据流动相关的资源会被释放，且...
CancelDataFlowTask-取消数据流动任务
取消一个未执行状态的数据流动任务。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动任务。您可以在控制台文件系统详情页面查看版本信息。仅支持取消 Pending（等待）和 Executing（运行中）状态的数据流动...
数据流动概述
CPFS智算版文件系统与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS智算版文件系统中的目录与OSS Bucket创建数据流动后，通过创建数据流动任务，可以完成数据的高速传输。传输完成后...
ModifyDataFlowAutoRefresh-修改数据流动自动更新配置
修改数据流动中的自动更新配置。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持修改 Running（正常）、Stopped（停止）状态数据流动的自动更新...
CancelDataFlowAutoRefresh-取消数据流动自动更新配置
取消指定数据流动上的自动更新配置。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持取消 Running（正常）、Stopped（停止）状态数据流动的自动...
DescribeDataFlows-查询数据流动列表
查询一个CPFS文件系统的数据流动信息。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。筛选键（Filters）中，FsetIds、DataFlowlds、SourceStorage、...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
DescribeDataFlowTasks-查询数据流动任务列表
选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。Data：文件的数据块。MetaAndData：文件的元数据和数据块。说明 CPFS 智算版仅支持 MetaAndData 类型。MetaAndData Progress long...
CreateDataFlowTask-创建数据流动任务
选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。Data：文件的数据块。MetaAndData：文件的元数据和数据块。Metadata Directory string 否 数据流动任务执行的目录。限制：长度为 ...
CREATE STREAM
数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With语句中指定。语法 CREATE STREAM(IF NOT EXISTS)table_name('(' tableElement(',' tableElement)*')')(WITH tableProperties)tableElement:columnDefinition;...
API概览
数据流动 API 标题 API概述 CreateDataFlow 创建数据流动 创建一个CPFS文件系统与源端存储的数据流动。DeleteDataFlow 删除数据流动 删除一个数据流动。ModifyDataFlow 修改数据流动 修改数据流动的属性。DescribeDataFlows 查询数据流动...
ApplyDataFlowAutoRefresh-添加数据流动自动更新配置
配置自动更新（AutoRefresh）后，当源端存储数据发生变化时，变化的元数据会自动同步到 CPFS 文件系统，变化的数据会在用户访问文件时按需加载，或者启动数据流动任务加载数据。自动更新间隔（AutoRefreshInterval）指 CPFS 每隔该时间间隔...
将时空数据写入宽表引擎
参数说明如下：参数 是否必选 描述 stream_topic 否 指定数据流表的物理数据存储在流存储的某个Topic。value_format 是 指定数据源写入Lindorm流引擎的数据格式，取值如下：CSV Avro JSON key_value 是 指定数据流表的主键列。创建计算任务...
功能特性
数据存储 功能集 功能 功能描述 参考文档 通用型NAS 容量型 通用型NAS的一个细分存储类型，适用于数据库备份、日志存储、Windows用户目录、Linux home目录等成本敏感型且对时延响应要求不高的文件共享业务。通用型NAS 性能型 通用型NAS的...
什么是文件存储CPFS
阿里云CPFS特有的 数据流动 功能可以实现将对象存储OSS中的数据合并入CPFS，进行统一命名空间的元数据管理。您可以手动或者通过自动Lazy-load能力，将OSS中的数据复制到CPFS中，实现通过POSIX文件接口高速访问OSS中的数据。在保持海量数据...
新功能发布记录
2021-10-27 全部 管理Fileset 数据流动 文件存储CPFS 2.0 文件存储CPFS 2.0版本支持更高的性能，更丰富的功能，为AI训练和HPC高性能计算提供高性能的并行文件存储服务。2020-09-30 全部 什么是文件存储CPFS 文件存储CPFS 1.0（商用）文件...
集成概览
OpenAPI集成 文件存储 CPFS提供文件系统、权限组、挂载点、数据流动、协议服务、Fileset等功能的OpenAPI，您可在业务系统中进行集成。关于如何使用阿里云OpenAPI，请参见 使用OpenAPI。版本说明 版本说明 说明 2017-06-26 推荐使用 说明 因...
JavaSDK实现数据流分片上传的代码样例
详细信息 数据流分片上传中，需要对数据流进行clone操作，其中inputstream是不能重复读。以下是数据流分片上传的代码样例。说明 说明：代码中cloneInputStream是复制数据流的实现。import java.io.ByteArrayInputStream;import java.io....
应用场景
表格存储 数据湖架构能有效的解决大数据领域面临的数据存储与数据分析问题，典型应用场景包括推荐系统和舆情&风控分析场景。推荐系统 推荐系统作为当前所有业务精细化运营的主要手段，广泛应用在电商、短视频、新闻等场景，具有数据量大、...
计费项
按量付费：数据流动带宽费用=（按每小时配置的最高带宽-CPFS文件系统存储容量/1200 GiB×50 MB/s）×每小时数据流动带宽单价 文件存储CPFS提供数据流动带宽优惠政策，即每1200 GiB CPFS文件系统存储容量减免50 MB/s的数据流动带宽费用。...
计费案例
本文以案例形式介绍文件存储CPFS费用的计算方法。说明 以下计费示例仅供参考，实际价格以您CPFS购买页面为准。...文件存储CPFS提供数据流动带宽优惠政策，即每1200 GiB CPFS文件系统存储容量减免50 MB/s的数据流动带宽费用。
概述
背景信息 Kafka是一个分布式消息队列系统，不同的数据系统可以通过Kafka Connect工具将数据流输入Kafka和从Kafka获取数据流。表格存储团队基于Kafka Connect开发了Tablestore Sink Connector。Tablestore Sink Connector会根据订阅的主题...
集成表格存储Tablestore
云工作流 可以在流程中集成 表格存储（Tablestore），通过集成 Tablestore，您可以将流程运行中的各种数据持久化到 Tablestore 的某个表中，也可以将某个表的数据作为流程的数据源。本文分别从数据读取和数据写入两种场景，介绍 云工作流 ...
产品规格
本文列举了在相同文件系统容量下使用不同客户端访问文件系统时，100 MB/s/TiB基线、200 MB/s/TiB基线、400 MB/s/TiB基线的文件系统性能指标、适用的高级功能、数据流动性能等，您可以根据业务需求选择合适的CPFS存储规格。文件系统实例性能...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
入门概述
通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 与对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 文件存储CPFS（NFS协议）备份 ...
引擎简介
流引擎面向流式数据，实现了流存储和流计算的融合一体化，提供高效的实时数据处理能力。同时，在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合，共享存储，提供完整统一的数据库体验。此外，流引擎与 时空引擎、AI...
产品架构
其中，流存储负责消息日志数据的写入和订阅，兼容开源Kafka API，并且数据持久化存储在底层LDFS中，具备高吞吐、低成本、弹性等优势。流计算负责消息日志的实时处理，兼容Flink SQL语法，计算结果数据可以同步至Lindorm宽表引擎、时序引擎...
- 产品推荐
- 这些文档可能帮助您