简介
日志服务提供外部存储功能，可用于日志服务与MySQL数据库、阿里云对象存储OSS、托管的CSV文件进行关联。本文介绍日志服务外部存储功能的应用场景、功能优势等信息。应用场景 在日志分析场景中，您可能经常遇到数据分散存储的问题，例如用户...
概述
外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志保存在ExternalStore中，与日志相关联的、静态的meta信息。日志保存在Logstore中，日志数据源源不断且持续更新。使用场景 Logstore和...
ST_importFrom
将外部存储的轨迹转化为内部存储的轨迹。语法 trajectory ST_importFrom(trajectory traj);参数 参数名称 描述 traj 轨迹对象。描述 ST_ExportTo 的逆向操作。对存储在表内的轨迹，返回其本身；对存储在表外的轨迹，将其重新导入数据库中。...
ListExternalStore
调用ListExternalStore接口查询外部存储数据列表。支持查询指定Project下所有外部存储列表，也支持查询指定Project下具体外部存储信息。请求语法 GET/externalstores?externalStoreName=externalStoreName&offset=offset&sizes=sizes ...
API概览
外部存储（ExternalStore）API名称 API说明 CreateExternalStore 创建外部存储。DeleteExternalStore 删除指定的外部存储。UpdateExternalStore 修改外部存储的配置信息。GetExternalStore 获取指定外部存储的详细信息。ListExternalStore ...
ST_importFrom
将外部存储的轨迹转化为内部存储的轨迹。语法 trajectory ST_importFrom(trajectory traj);参数 参数名称 描述 traj 轨迹对象。描述 ST_ExportTo 的逆向操作。对存储在表内的轨迹，返回其本身；对存储在表外的轨迹，将其重新导入数据库中。...
ST_importFrom
将外部存储的轨迹转化为内部存储的轨迹。语法 trajectory ST_importFrom(trajectory traj);参数 参数名称 描述 traj 轨迹对象。描述 ST_ExportTo 的逆向操作。对存储在表内的轨迹，返回其本身；对存储在表外的轨迹，将其重新导入数据库中。...
关联OSS数据源
本文介绍如何创建外部存储，建立日志服务与OSS的关联。前提条件 已采集日志。更多信息，请参见 数据采集。已开启并配置索引。更多信息，请参见 创建索引。已创建OSS Bucket。更多信息，请参见 控制台创建存储空间。已上传CSV格式文件到OSS ...
ST_AKID
返回外部存储轨迹的AccessKeyId。语法 text ST_AKID(trajectory traj);参数 参数名称 描述 traj 轨迹对象。描述 如果存储在外部，返回存储此轨迹的AccessKeyId，否则返回null。从OSS外部存储读取轨迹时，需要提供AccessKey，每个AccessKey...
ST_AKID
返回外部存储轨迹的AccessKeyId。语法 text ST_AKID(trajectory traj);参数 参数名称 描述 traj 轨迹对象。描述 如果存储在外部，返回存储此轨迹的AccessKeyId，否则返回null。从OSS外部存储读取轨迹时，需要提供AccessKey，每个AccessKey...
ST_AKID
返回外部存储轨迹的AccessKeyId。语法 text ST_AKID(trajectory traj);参数 参数名称 描述 traj 轨迹对象。描述 如果存储在外部，返回存储此轨迹的AccessKeyId，否则返回null。从OSS外部存储读取轨迹时，需要提供AccessKey，每个AccessKey...
ST_ExportTo
将轨迹导出到外部存储。语法 trajectory ST_ExportTo(trajectory traj,text path,text config);参数 参数名称 描述 traj 轨迹对象。path 外部存储字符串，目前仅支持OSS文件夹，格式为：'OSS:/<access key>:<access secret>@<endpoint>/...
ST_ExportTo
将轨迹导出到外部存储。语法 trajectory ST_ExportTo(trajectory traj,text path,text config);参数 参数名称 描述 traj 轨迹对象。path 外部存储字符串，目前仅支持OSS文件夹，格式为：'OSS:/<access key>:<access secret>@<endpoint>/...
ST_ExportTo
将轨迹导出到外部存储。语法 trajectory ST_ExportTo(trajectory traj,text path,text config);参数 参数名称 描述 traj 轨迹对象。path 外部存储字符串，目前仅支持OSS文件夹，格式为：'OSS:/<access key>:<access secret>@<endpoint>/...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
iOS SDK和Android SDK如何开启日志记录功能
Android SDK开启LOG的方法/日志的样式/通过调用OSSLog.enableLog()开启可以在控制台看到日志，/并且会支持写入手机sd卡中的一份日志文件位置在内置sd卡路径\OSSLog\logs.csv，默认为不开启。日志会记录OSS操作行为中的请求数据返回数据和...
人工智能AI
AI推理 基于弹性计算的AI推理 AI训练 超级计算集群结合ACK快速实现NLP训练 基于机器学习PAI的云原生AI训练 GPU AI模型训练 基于NAS部署可更换模型的FC Stable Diffusion进行AI绘画创作 使用NAS存储SD模型库并挂载NAS到PAI-EAS加载推理 AI...
使用NAS存储SD模型库并挂载NAS到PAI-EAS加载推理
使用NAS存储SD模型，NAS将根据文件系统类型、存储容量及时长收取文件存储费用，建议搭配 NAS资源包 使用。更多计费信息，请参见 计费概述。前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时，按照页面引导开通服务。已...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如，Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks ...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...
产品计费
本文主要介绍云存储网关计费相关内容，包括计费项、计费方式和欠费说明等，您可以通过本文了解云存储网关服务费用收取详情。计费项 云存储网关包括线上网关和线下网关，其计费项不相同。云存储网关资源的价格，请参见 云存储网关产品定价。...
转换文件存储类型
OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何转换文件（Object）的存储类型。注意事项 当您使用webpack或browserify等打包工具时，请通过 npm install ali-oss 的...
计算与分析概述
表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...
调用方式
云储存网关接口调用是通过向云存储网关API的服务端地址发送HTTP(s)GET请求。您需要并按照接口说明在请求中加入相应请求参数，调用后系统会返回处理结果。请求及返回结果都使用UTF-8字符集进行编码。服务地址 SGW API的服务接入地址请参见下...
修改文件系统
本文介绍如何在 文件存储HDFS版 控制台修改某个文件系统的存储容量、基本信息以及吞吐模式。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 ...
什么是表格存储
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、...
SA混合云存储阵列
阿里云混合云存储阵列作为软硬一体的存储设备，集成了阿里云存储服务，融合了公共云存储和传统存储阵列的优点：简单 客户无需更改原有的IT架构，就可以像使用本地存储设备一样使用阿里云混合云存储阵列，同时使用本地存储空间和云端存储...
NAS存储卷FAQ
NAS存储卷挂载时间延长 NAS存储卷挂载失败时出现timeout错误 使用NAS存储卷时，提示chown:option not permitted 挂载NAS存储卷失败 使用NAS动态存储卷时Controller的任务队列已满且无法创建新的PV NAS存储卷挂载时间延长 问题现象：NAS存储...
SDS分布式存储
阿里云将分布式存储技术以及积累的公共云部署、运维的最佳实践融入到分布式存储产品中，从而打造高性能、高可扩展、高可靠的 SDS分布式存储，帮助您降低成本、缩短业务上线时间，轻松构建混合云存储。产品优势 灵活敏捷，弹性扩容 3节点...
跨账号授权
其中，在 步骤二 创建外部表时，使用如下示例代码：CREATE EXTERNAL TABLE ads_log_ots_pt_external(vid bigint,gt bigint,longitude double,latitude double,distance double,speed double,oil_consumption double)STORED BY '...
使用MaxCompute访问表格存储
您只需通过一条简单的DDL语句，即可在MaxCompute上创建一张外部表，建立MaxCompute表与外部数据源的关联，提供各种数据的接入和输出能力。MaxCompute表是结构化的数据，而外部表可以不限于结构化数据。表格存储与MaxCompute都有其自身的...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
NAS存储卷FAQ
使用NAS存储卷时，提示chown:Operation not permitted 使用NAS动态存储卷时，Controller的任务队列已满且无法创建新的PV NAS存储卷挂载时间延长 使用NAS存储卷时，无法创建或修改目录 当工作负载挂载NAS存储卷时，提示unknown filesystem ...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
测试模型
表格存储的BatchWriteRow会以分区维度并发处理，每个分区的数据会最终变成一次写磁盘操作。建议您在组织BatchWriteRow请求时，按数据的分区键进行聚合，可以减少每次BatchWriteRow的写磁盘数量，有效提高写入性能。随机读和随机范围读两个...
如何优化高并发IM系统架构
高并发的IM系统通常选择NoSQL数据库存储产品来存储消息，但常见的NoSQL产品没有提供自增列的功能，通常要借助外部组件来实现消息序号和ID的递增，使得整体的架构更加复杂，且影响整条链路的延时。功能需求 IM系统通常需要实现下列功能：...
OSS违规图片被冻结后仍然可以被外部访问
问题描述 使用阿里云内容安全产品的OSS违规检测功能，对在阿里云对象存储OSS中的图片、视频等内容进行鉴黄、涉政暴恐检测，并且在冻结配置中设置了 修改权限 的冻结方式，OSS中的违规图片被冻结后，仍然可以被外部访问。问题原因 OSS违规...
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
使用AccessKey访问表格存储
除了授权方式外，您还可以在 MaxCompute 中使用 AccessKey 访问表格存储的数据。准备工作 获取表格存储资源所属账号的 AccessKeyId 和 AccessKeySecret，如果该 AK 是资源所属账号的子账号，那么该子账号至少需要对表格存储相关的资源具有...
CreateDataFlow-创建数据流动
创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算...
- 产品推荐
- 这些文档可能帮助您