使用JindoFuse挂载访问
如果您希望将OSS-HDFS服务映射为一个本地文件系统，然后通过标准的文件系统接口（例如读、写、删除文件等）访问OSS-HDFS服务中的文件，您可以使用JindoFuse挂载访问的方式。JindoFuse是一个开源的分布式文件系统访问工具，同时兼容POSIX，...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
Logtail
标准输出日志轮转 容器的标准输出文件由docker或kubelet进行轮转，kubelet日志文件轮转默认大小为10 MB（docker日志轮转在ACK上被设置为100 MB），如果容器每秒输出标准输出的速率大于10 MB/s，将导致文件快速轮转，建议改用容器文件方式...
Logtail限制说明
标准输出日志轮转 容器的标准输出文件由docker或kubelet进行轮转，kubelet日志文件轮转默认大小为10 MB（docker日志轮转在ACK上被设置为100 MB），如果容器每秒输出标准输出的速率大于10 MB/s，将导致文件快速轮转，建议改用容器文件方式...
方案背景
实时计算Flink通过与表格存储对接，进行数据的实时分析，然后将计算结果写回到表格存储中存储。实时计算Flink主要用于对设备元数据进行流计算作业或者对接Kafka等消息队列订阅消息。方案优势 数据自动分区和负载均衡。采用存储计算分离架构...
常见问题
如何采集K8s集群的容器日志 SLB访问日志采集不到 日志采集Agent对比 Windows系统的ECS安装Logtail服务日志提示异常信息 如何配置日志服务的时间转换格式 数据存储常见问题 日志服务如何存储、管理用户的日志？删除日志库，日志数据是否丢失...
采集-多渠道数据
为不同数据源产生的日志创建日志库，例如：wechat-server（存储微信服务器访问日志）wechat-app（存储微信服务器应用日志）wechat-error（错误日志）alipay-server alipay-app deliver-app（送货员App状态）deliver-error（错误日志）web-...
数据集成服务
且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...
时序模型介绍
通过Flink计算与分析数据后，您可以使用Tablestore时序表存储输出结果。更多信息，请参见 使用时序表存储Flink输出结果。在某些场景下，如果希望将时序表中的时序数据迁移到另一个时序表中，您可以DataWorks数据集成服务实现。更多信息，请...
存储空间概述
在上传数据（例如文档、图片、音视频等）到OSS之前，您需要在OSS所支持的地域中创建一个存储空间（Bucket），然后将无限数量的对象（Object）上传到该Bucket中。背景信息 Bucket和Object都是OSS资源，OSS提供了相关的API接口来管理这些资源...
使用流程
表格存储 提供了控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。本文介绍通过控制台和命令行工具快速使用宽表模型和时序模型的流程。背景信息 使用表格存储前，您需要了解表格存储相关介绍，例如产品概述、基本概念等...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
如何基于LSM-tree架构实现一写多读
如果也通过redo日志链路同步给Standby，会带来一些复杂性，一方面是X-Engine内部写日志的方式需要改动，需要新增文件操作相关的物理日志来确保主从物理结构一致，故障恢复的逻辑也需要适配；另一方面，Slog作为后台任务的操作日志，意味着...
新建存储过程
存储过程旨在完成特定功能的 SQL 语句集，经编译创建并保存在数据库中，用户可以通过指定存储过程名并指定所需参数来调用执行，利用存储过程可以加速 SQL 语句的执行。新建存储过程，即由用户创建并能够完成某一特定功能的存储过程，存储...
使用CloudLens for SLS监控Project资源配额
日志分类 子分类 监控场景说明 实例日志 详细日志 访问流量监控 访问异常监控 重要日志 消费组监控 Logtail采集监控 作业运行日志 数据加工（新版）监控 定时SQL任务监控 全局日志 审计日志 资源操作监控 错误日志 额度超限监控 访问异常...
实时计算（Blink）消费
阿里云实时计算通过创建日志服务源表的方式，可以直接消费日志服务中的数据。本文介绍了如何为实时计算创建日志服务源表以及创建过程涉及到的属性字段提取和类型映射。创建日志服务源表 日志服务是实时数据存储，实时计算能将其作为流式...
什么是预留读写吞吐量
预留读吞吐量和预留写吞吐量的计量单位为读服务能力单元（读CU）和写服务能力单元（写CU），当通过表格存储的API对数据表进行读写操作时均会消耗对应的写服务能力单元和读服务能力单元。表格存储对高性能实例中所有数据表的预留读吞吐量...
PolarDB PostgreSQL版架构介绍
Lazy Recovery 上述内容介绍通过LogIndex在只读节点上做到了Lazy的回放，在主节点重启后的recovery过程中，本质也是在回放日志，因此，可以借助Lazy回放来加速recovery的过程：从checkpoint点开始逐条去读WAL日志。回放完LogIndex日志后，...
数据加工
超出此限制时，加工任务启动后无法正常运行，任务通过其运行日志输出具体错误信息，详情请参考 错误日志查看方式。重要 数据加工任务处于停止或者运行完成状态时，日志服务并不会主动删除其依赖的消费组实例，建议及时清理处于停止或运行...
使用限制
超出此限制时，加工任务启动后无法正常运行，任务通过其运行日志输出具体错误信息，详情请参考 错误日志查看方式。重要 数据加工任务处于停止或者运行完成状态时，日志服务并不会主动删除其依赖的消费组实例，建议及时清理处于停止或运行...
创建MaxCompute投递任务（新版）
日志服务采集到日志后，支持将日志投递至MaxCompute的表中进行存储与分析。本文介绍如何创建MaxCompute投递任务（新版）。前提条件 已创建Project和Logstore。具体操作，请参见 创建Project和Logstore。已采集日志。具体操作，请参见 数据...
投递日志到MaxCompute（旧版）
您可以在日志服务控制台实时查询所采集到的日志，并将日志投递到MaxCompute，进行进一步的BI分析及数据挖掘。本文介绍通过日志服务投递日志到MaxCompute的操作步骤。前提条件 已开通MaxCompute，并创建表。更多信息，请参见 创建表。使用...
OSS存储空间开启日志存储
OSS存储空间的日志管理中开启日志存储，视为“合规”。应用场景 OSS存储空间开启日志存储，可以捕获所有存储空间的读写日志，该日志对于后续的异常访问分析和数据泄露复盘非常重要。风险等级 默认风险等级：中风险。当您使用该规则时，可以...
术语表
日志库（Logstore）日志库是日志服务中日志数据的采集、存储和查询单元。更多信息，请参见 日志库（Logstore）。时序库（MetricStore）时序库是日志服务中时序数据的采集、存储和查询单元。更多信息，请参见 时序库（MetricStore）。日志...
初始化OTSClient
OTSClient是表格存储服务的客户端，它为调用者提供了一系列的方法，可以用来操作表、读写单行数据、读写多行数据等。使用.NET SDK发起请求，您需要初始化一个OTSClient实例，并根据需要修改OTSClientConfig的默认配置项。注意事项 表格存储...
通过DaemonSet方式采集Kubernetes容器文本日志
对于Docker只支持overlay、overlay2这两种存储驱动，其他存储驱动需将日志所在目录通过数据卷挂载为临时目录。存储卷挂载方式：如果NAS以PVC的方式挂载到数据目录，不支持使用Daemonset方式部署Logtail，建议使用Sidecar方式或Deployment...
导出全量数据到OSS
如果要以更低成本备份 表格存储 中的全量数据或者以文件形式导出 表格存储 数据到本地，您可以通过DataWorks数据集成服务将 表格存储 中的全量数据导出到OSS。全量数据导出到OSS后，您可以自由下载文件到本地。注意事项 此功能适用于 表格...
通用数据结构
取值包括：consumergroup_log：消费组延迟日志 logtail_alarm：Logtail告警日志 operation_log：操作日志（此项服务收费）logtail_profile：Logtail采集日志 metering：计量日志 logtail_status：Logtail状态日志 scheduledsqlalert：定时...
通用参考
SPL读取存储在SLS的LogGroup结构数据作为输入（LogGroup定义详情请参见 数据编码方式），如果原始写入日志服务的数据不符合标准LogGroup编码规范，即某些保留字段并未按照标准编码在对应位置，而是放在LogContent中，则SPL在读取此类保留...
开启SQL独享版
当您使用SQL分析时，如果数据量较大，SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志，返回的结果可能不包括所有匹配的数据，增加Shard可以提升读写能力，但只对新写入的数据生效。您可以通过开启SQL独享版，增加计算资源，提升...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
字段值映射处理
重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志时不可用。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 表单配置...
导入Amazon S3文件
您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5GB以内的S3文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到S3中。已创建Project和...
读写吞吐量
当通过 表格存储 的API对数据表进行读写操作时，会消耗对应的写服务能力单元和读服务能力单元。CU计算规则 1单位读服务能力单元表示从数据表中读一条4 KB数据。1单位写服务能力单元表示向数据表写一条4 KB数据。操作数据大小不足4 KB的部分...
Logtail配置
Logtail配置是Logtail采集日志的策略集合。通过在创建Logtail配置时设置数据源、采集模式等参数，实现定制化的采集策略。本文介绍API模式下Logtail配置相关的参数说明。Logtail配置基础参数说明 参数名称 数据类型 是否必填 示例值 描述 ...
通过命令行工具快速使用云存储网关软件版
本文介绍如何通过命令行工具快速使用云存储网关软件版。前提条件 已注册阿里云账号，并完成实名认证。具体操作，请参见 注册阿里云账号。说明 建议您使用RAM用户登录云存储网关控制台进行相关操作。更多信息，请参见 账号访问控制。已开通...
日志常见问题
您可以通过减少日志存储时长、减少日志分类投递、定期转存至OSS存储空间、清空日志存储空间等方式降低日志存储的空间。减少日志存储时长 开通日志分析后，日志默认存储时长为180天。如果您确认业务不需要保留较长时间的历史日志，您可以...
管理日志存储空间
背景信息 如果您因网站业务调整，导致所需要的日志存储容量发生变化，您可以通过 升级 增加日志存储容量、通过 降配 减小日志存储容量。例如，如果您为新的网站开启了日志采集，则日志存储容量需求会增大；如果您减少了日志存储时长，则...
使用函数计算清洗数据
将数据写入到表格存储时，您可以通过函数计算对新增的数据做简单的清洗，将清洗后的数据写回到表格存储的另一种数据表中。同时，您也可以实时访问表格存储中的原始数据和结果数据。样例场景 假设写入表格存储的为日志数据，且日志数据包括...
管理日志存储空间
背景信息 如果您因网站业务调整，导致所需要的日志存储容量发生变化，您可以通过 升级 增加日志存储容量、通过 降配 减小日志存储容量。例如，如果您为新的网站开启了日志采集，则日志存储容量需求会增大；如果您减少了日志存储时长，则...
- 产品推荐
- 这些文档可能帮助您