产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
通用数据开发
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
使用前须知
功能介绍 您的业务在使用DCDN服务时，会产生大量的网络日志数据。通过实时日志功能，您可以实时采集节点产生的日志，并投递到日志服务进行存储和消费，以便快速监控和定位业务问题。资产详情 专属Project和Logstore 开启日志投递功能后，...
分析网站日志
日志服务还支持通过自带的仪表盘、DataV、Grafana、Tableau（通过JDBC链接）、Quick BI等可视化方式创建多种场景下的日志数据分析大盘。功能体验 通过测试仪表盘体验查询分析功能。试用链接：仪表盘 通过数据实验室功能体验查询分析功能。...
启用数据平面日志采集
启用日志采集后，您可以通过日志中心查看控制平面日志、配置基于日志的告警规则、查看数据平面日志和相关的Dashboard。本文介绍如何启用数据平面日志采集。前提条件 阿里云账号已开通阿里云日志服务SLS。具体操作，请参见 开通日志服务。...
启用数据平面日志采集
启用日志采集后，您可以通过日志中心查看控制平面日志、配置基于日志的告警规则、查看数据平面日志和相关的Dashboard。本文介绍如何启用数据平面日志采集。前提条件 阿里云账号已开通阿里云日志服务SLS。具体操作，请参见 开通日志服务。...
接入数据
基于日志服务时序数据的接入能力。具体操作，请参见 接入时序数据。基于实时计算（流计算）的流式数据投递能力。具体操作，请参见 日志服务SLS源表。后续步骤 接入机器监控指标数据后，SREWorks数智服务会自动生成相应的仪表盘。您可以通过...
使用前须知
实时：DevOps、监控、报警等场景要求日志数据的实时性。结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。弹性：可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能：基于达摩院智能AIOps算法，提供...
备份大小
备份大小=数据备份的大小+日志备份的大小 查看备份大小 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在左侧导航栏中，选择 实例列表>MySQL。找到目标实例，单击 操作 列的 详情。在 基本信息 页面右下角，查看备份大小。...
使用前须知
实时：DevOps、监控、报警等场景要求日志数据的实时性。传统型负载均衡结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。重要 99.9%的情况下，日志延迟不超过3分钟。弹性：您可按CLB实例级别开通或关闭访问日志功能，可任意...
使用前须知
海量：访问日志数据规模很大，处理访问日志需要考虑性能和成本问题。日志中心可自定配置预聚和功能，实时计算聚合指标，计算后的聚合结果可降低几个数量级，使查询速度大大提升。实时：秒级分析处理实时产生的日志。弹性：可任意设置日志...
RDS SQL Server空间不足问题
您可以在控制台的 自治服务>空间管理 页面，查看更详细的空间使用情况，包括数据与日志的空间使用对比、空间使用的历史变化趋势、Top数据库和Top表的空间分配明细等。更多信息，请参见 空间管理。说明 实例不能是RDS SQL Server 2008 R2云...
基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
可观测性能力介绍
审计日志（Audit log）云数据库Redis版 基于 日志服务SLS（Log Service），提供审计日志功能，每条审计日志包含日志类型、执行时长、DB序号、客户端IP、账户名、命令详细信息以及扩展信息等。基于该功能，为您提供在线查询、分析操作日志...
可观测性能力
审计日志（Audit log）云原生内存数据库Tair 基于 日志服务SLS（Log Service），提供审计日志功能，每条审计日志包含日志类型、执行时长、DB序号、客户端IP、账户名、命令详细信息以及扩展信息等。基于该功能，为您提供在线查询、分析操作...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
查看审计日志
前提条件 需要查看日志的数据资产类型在安全审计功能支持的范围内。更多信息，请参见 支持的数据库类型。需要查看日志的数据资产已完成授权且已开启日志审计。具体操作，请参见 通用数据库授权、审计配置。按时间查看日志 登录 数据安全...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
常见问题
日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
使用前须知
支持的日志 数据管理DMS支持将操作日志投递到日志服务，进行查询与分析。操作日志指用户在DMS发起所有操作的流水账式日志，日志包含用户的相关信息、使用的功能模块名称、执行操作的时间、执行的操作类型及SQL语句等信息。更多信息，请参见...
从SLS同步
例如，选择时间为 2021-12-31 08:00，即把 2021-12-31 08:00 之后的日志数据投递到云数据库ClickHouse。是 否过滤脏数据 是否对脏数据进行过滤。建议打开开关，如果关闭，遇到无法解析的脏数据，会导致投递任务失败。说明 具体的脏数据记录...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
快速使用WAF日志服务
日志分析仪表盘是WAF基于日志数据，预先设置的一系列图形报表，方便您直接查询网站业务及安全防护的相关数据。日志分析仪表盘包含：运营中心：展示网站的业务运营指标，包含请求趋势、攻击概况等。访问中心：展示网站的访问指标、客户端...
通过日志服务迁移日志数据至MaxCompute
本文为您介绍如何通过日志服务的直接投递功能迁移日志数据至MaxCompute。前提条件 执行本操作的账号为主账号。已开通日志服务，详情请参见 开通日志服务。背景信息 日志服务提供将实时采集的日志数据投递至MaxCompute的功能。如果启用该...
复制Logstore数据
如果您需要将Logstore中的日志数据保存多份，可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...
管理服务日志
本文介绍了如何开通、关闭服务日志功能以及如何修改服务日志的配置。背景信息 开启服务日志功能时，您可以选择服务日志的类型，包括 详细日志、重要日志、任务运行日志，日志类型的说明请参见 日志类型。详细日志：详细日志会在您选择的...
加工原理
日志服务提供的数据加工功能，通过编排内置的两百多个函数，使用协同消费组对日志数据进行消费，实现对日志数据的加工处理。本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理 日志服务的数据加工...
简介
阿里云日志服务提供服务日志功能，支持记录Project内的用户操作日志等多种日志数据，并提供多种分析维度的仪表盘。您可以通过多种方式实时掌握日志服务的使用状况、提高运维效率。默认配置 默认配置项 配置内容 Logstore 当前Project产生的...
日志服务通过数据集成投递数据
logstore":"logstore-ut2",/目标日志库的名字，LogStore是日志服务中日志数据的采集、存储和查询单元。beginDateTime":"${startTime}",/数据消费的开始时间位点，为时间范围（左闭右开）的左边界。endDateTime":"${endTime}",/数据消费...
日志消费与查询区别
日志服务提供日志消费和查询功能，都均为对日志数据的读操作。日志消费 全量数据顺序（FIFO）读写，提供类似Kafka的功能。每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序...
开启或关闭日志服务
如果您需要存储防护对象的日志数据，并对日志数据进行查询与分析，您需要先开启WAF日志服务。如果您不再需要使用日志服务，您可以降配日志存储容量（包年包月实例）或直接关闭日志服务（按量付费实例）。本文介绍如何开启或关闭WAF日志服务...
工作原理
对于非数值化的日志数据，可以设置SQL语句或查询分析语句，转化成监控指标，发起任务。定时分析数据 根据需求设置具体的数据特征，配置实体项和指标项。巡检实例自动发现新的监控实体，定时拉取数据进行自动建模与智能分析。模型定时调度...
操作审计
数据管理DMS基于操作日志的基础功能，重磅推出了操作审计功能。当您需要快速排查、定位数据库安全问题及有安全审计用途时，可使用操作审计查看在SQL窗口产生的SQL语句列表、工单列表、登录列表、操作日志。功能说明 数据管理DMS的操作审计...
如何不再使用日志服务
概述 日志服务不支持直接关闭，若您不再需要使用日志服务，可以通过删除所有数据，将不会再产生不必要的计费。...详细信息 请删除所有Project和Logstore以清除所有的日志数据，具体操作请参见 日志服务如何停止计费。适用于 日志服务
云产品日志审计
日志服务基于可观测性数据平台能力，为您提供云产品的日志审计能力。日志审计对应的日志库为只读库，只能写入专属云产品日志数据，不允许通过自行写入或其他方式篡改数据。日志审计支持多账户下实时自动化、中心化采集云产品日志并进行审计...
全局参数
jmes-filter String 否-jmes-filter="join(' ',map(&to_string(@),@))"JMES语法表达式，用于过滤返回的日志数据。更多信息，请参见 JMES语法表达式。decode-output String 否 utf8 当存储的日志数据的是二进制数据时，指定数据的编码方式，...
配置实时日志推送
收集到的日志数据的查询、分析、投递均以Logstore为单位。如果您不填写Logstore名称，CDN将默认为您生成Logstore名称。区域 日志投递到的日志服务（SLS）Logstore所在区域。日志服务授权 您单击 日志服务授权 后，自动跳转到RAM访问控制...
- 产品推荐
- 这些文档可能帮助您