CreateDataFlow-创建数据流动
创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算...
数据流动概述
文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后，CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...
管理数据流动
如果多个CPFS的数据流动、或者同一个CPFS的多个数据流动的源端存储是同一个OSS Bucket，为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突，需要该OSS Bucket开启版本控制。更多信息，请参见 版本控制介绍。如果要配置自动...
管理数据流动
如果多个CPFS智算版文件系统的数据流动，或者同一个CPFS智算版文件系统的多个数据流动的源端存储是同一个OSS Bucket，为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突，需要该OSS Bucket开启版本控制。更多信息，请参见 ...
ModifyDataFlow-修改数据流动
修改数据流动的属性。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。仅支持状态为 Running（正常）状态的数据流动修改属性。修改数据流动一般耗时 2~5 分钟，您可以通过 DescribeDataFlows 查询...
StopDataFlow-停用数据流动
停用一个数据流动。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能停用 Running（正常）状态的数据流动。停用后，不可在数据流动上创建数据流动...
StartDataFlow-启用数据流动
启用一个数据流动。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能启动 Stopped（停止）状态的数据流动。当 DryRun 为 true 时，可校验启动该...
DeleteDataFlow-删除数据流动
删除一个数据流动。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持删除 Running、Stopped 状态的数据流动。删除后，数据流动相关的资源会被释放，且...
CreateDataFlowTask-创建数据流动任务
选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。Data：文件的数据块。MetaAndData：文件的元数据和数据块。Metadata Directory string 否 数据流动任务执行的目录。限制：长度为 ...
DescribeDataFlows-查询数据流动列表
查询一个CPFS文件系统的数据流动信息。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。筛选键（Filters）中，FsetIds、DataFlowlds、SourceStorage、...
数据流动概述
CPFS智算版文件系统与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS智算版文件系统中的目录与OSS Bucket创建数据流动后，通过创建数据流动任务，可以完成数据的高速传输。传输完成后...
DescribeDataFlowTasks-查询数据流动任务列表
选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。Data：文件的数据块。MetaAndData：文件的元数据和数据块。说明 CPFS 智算版仅支持 MetaAndData 类型。MetaAndData Progress long...
概述
结果表 目的数据存储，用于存储流数据分析的计算结果。每个流数据分析任务必须提供至少一个目的数据存储。边缘端支持的类型如下所示。EdgeBusSink：边缘端消息总线，会把流作业的处理结果输出到EdgeBus，可通过消息路由的配置决定流作业...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS智算版文件系统的数据流动任务及查看任务报告。前提条件 已创建数据流动。具体操作，请参见 创建数据流动。任务说明 数据流动任务可分为导入（Import）和导出（Export）两种类型。类型 说明 ...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
ApplyDataFlowAutoRefresh-添加数据流动自动更新配置
配置自动更新（AutoRefresh）后，当源端存储数据发生变化时，变化的元数据会自动同步到 CPFS 文件系统，变化的数据会在用户访问文件时按需加载，或者启动数据流动任务加载数据。自动更新间隔（AutoRefreshInterval）指 CPFS 每隔该时间间隔...
ModifyDataFlowAutoRefresh-修改数据流动自动更新配置
修改数据流动中的自动更新配置。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持修改 Running（正常）、Stopped（停止）状态数据流动的自动更新...
JavaSDK实现数据流分片上传的代码样例
但是在实际使用过程中，服务端可能获取的是网络流数据并用来进行分片上传，该方法需要将网络流数据保存为本地文件后，再上传该文件，这便会涉及中转存储的再上传步骤，即非实时的上传。本文主要提供数据流分片上传的实现样例。详细信息 ...
通过流引擎实现地理围栏监控
场景说明 通过流引擎的流数据存储和实时计算能力，结合Ganos时空引擎技术，对车辆的点位数据进行地理围栏（指定的路径数据）监控判断。在地理围栏监控场景中，根据业务需求提前将地理围栏数据记录在Lindorm宽表中（图中的route_table表）。...
数据流管理
如果您将索引和请求直接提交到数据流，数据流会自动将请求路由到存储数据流数据的后备索引上。您可以使用索引生命周期管理功能（ILM）来管理后备索引，将旧的后备索引移动到低价的硬件上，并删除不需要的索引，从而帮助您降低成本及开销。...
CREATE STREAM
数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With语句中指定。语法 CREATE STREAM(IF NOT EXISTS)table_name('(' tableElement(',' tableElement)*')')(WITH tableProperties)tableElement:columnDefinition;...
将时空数据写入宽表引擎
参数说明如下：参数 是否必选 描述 stream_topic 否 指定数据流表的物理数据存储在流存储的某个Topic。value_format 是 指定数据源写入Lindorm流引擎的数据格式，取值如下：CSV Avro JSON key_value 是 指定数据流表的主键列。创建计算任务...
功能特性
数据存储 功能集 功能 功能描述 参考文档 通用型NAS 容量型 通用型NAS的一个细分存储类型，适用于数据库备份、日志存储、Windows用户目录、Linux home目录等成本敏感型且对时延响应要求不高的文件共享业务。通用型NAS 性能型 通用型NAS的...
数据存储目录结构说明
本章介绍文件引擎...目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如cn-shanghai则表示为上海的实例。
心选市场售卖
本文介绍如何购买流数据服务Confluent商品。购买流程 在阿里云云市场流数据服务Confluent商品售卖页中点击“立即购买”，跳转至流数据服务Confluent集群创建管控页。在流数据服务Confluent集群创建管控页进行集群配置和商品购买。操作步骤 ...
常见问题
本文档根据实践，介绍了本案例中比较常见的两个问题及解决方法。流计算中注册 RDS数据存储 失败。可能原因：您的RDS数据库与流计算项目不...参考文档：【流数据与大屏DataV】如何使用DTS，DataHub，StreamCompute，RDS及DataV搭建流数据大屏。
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
概述
本文介绍如何选择和优化阿里云存储服务，帮助您在满足数据存储需求的同时节省成本。企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客...
数据服务系统配置
API缓存数据存储位置 在 API缓存数据存储位置 区域，单击 修改 按钮，支持指定API缓存数据的存储位置。Dataphin系统的redis：将缓存数据存储到系统公共的Redis中，将与其他模块共享存储空间，适用于缓存数据量较小的场景。应用内存：缓存...
湖仓版（3.0）产品定价
存储空间 计费类别 计费项 按量付费价格 每月费用估算 存储空间 热数据存储 0.0028元/GB/小时 2元/GB/月 冷数据存储 0.0002元/GB/小时 0.144元/GB/月 说明 1 每月费用估算仅为了预估1 GB数据存储1个月的花费。估算方法为小时价×24小时×30...
开通消息引擎
在 选择数据引擎 部分，按需选择 流数据节点规格 与 流数据节点数量。创建实例后开通消息引擎 在 实例列表 点击对应实例，进入 实例详情 页面，在左侧菜单选择 流引擎 标签页，点击 立即开通 按钮。在购买页面按需选择 流数据节点规格 与 ...
网络访问与安全设置
本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据...
包年包月
本文介绍使用流数据服务Confluent包年包月模式下的注意事项。包年包月计费是一种需要先付费才能使用资源的计费方式，主要适用于长时间稳定的业务运行场景。您需要根据实际业务量分析资源的使用需求，一次性支付一个月或者多个月的费用。...
湖仓版（3.0）计费项
计费公式：存储空间费用=热数据存储费用+冷数据存储费用 冷数据存储空间费用=冷数据存储空间单价×冷数据存储量×时长 热数据存储空间费用=热数据存储空间单价×热数据存储量×时长 查询用量：您可以在 云原生数据仓库AnalyticDB MySQL控制...
冷热数据分层存储
为了降低数据存储成本、提高查询性能和系统资源利用率。云数据库ClickHouse 提供了冷热数据分层存储的功能。您可以根据查询频率将数据存储在不同类型的磁盘中。本文介绍如何开启冷热数据分层存储功能和设置分层存储策略。前提条件 云数据库...
东软案例
业务/技术亮点 移动端到云端业务全链路海量运维大数据存储。指标、日志等多源异构监控数据融合分析。99.99%数据可用性的高可靠低成本存储。客户感言 利用阿里云新一代 云原生多模数据库 Lindorm“灵动”引擎驱动的政府、企业数字信息系统...
RDS搭配异构数据库实现数据多样化存储
多结构数据存储 OSS是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。RDS可以和OSS搭配使用，组成多类型数据存储解决方案。例如，当业务应用为论坛时，RDS搭配OSS使用，论坛用户的图像、帖子内的图像等资源可以存储在OSS中，以...
时序模型计量计费
使用时序模型时，时间线数据和时间线元数据会产生数据存储量。同时，对时间线数据和时间线元数据的读写操作会消耗读写吞吐量。本文介绍了时序模型的计费项以及计费示例。注意事项 时序模型中的分析存储功能将从2023年12月20日正式开始收费...
数据存储冷热分离
AnalyticDB MySQL版 弹性模式集群版（新版）（3.1.3.3及以上版本）支持表或分区级别的数据存储冷热分离策略。前提条件 AnalyticDB MySQL版 集群需要同时满足以下条件：集群系列需为 弹性模式集群版（新版）。集群内核版本需为3.1.3.3或以上...
冷数据存储计费规则（可选）
本文介绍了开启冷数据归档功能后，在冷数据存储方面的计费规则。当 开启冷数据归档 后，PolarDB 企业版支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据归档的详细介绍，请参见 冷数据归档概述。...
- 产品推荐
- 这些文档可能帮助您