物联网设备数据上云存储
本文介绍如何使用阿里云物联网平台和 TSDB 进行数据打通，实现物联网设备系统的开发和管理、数据采集、数据上报、数据存储和分析的一体化方案，构建智能物联网平台。架构参考“物联网平台+TSDB”方案的实现架构如下：物联网设备通过 IoT ...
规格及选型
案例四：自动驾驶企业 用户为自动驾驶领域企业，需要基于车采数据进行地理位置和时序的采集数据分析，要求对JSON格式的友好兼容和时空数据的分析能力，构建业务看板并支持特征工程。建议：使用 AnalyticDB PostgreSQL版 存储弹性模式，实例...
通过Pod环境变量配置应用日志采集
特殊场景1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
EDAS旧版本监控报警功能下线通知
EDAS于2020年2月13日对监控报警功能进行了升级，经过4个月的迁移过渡期，绝大部分用户已经对应用进行了重启，并完成迁移。EDAS项目组决定于2020年8月31日将老版本的监控报警系统下线。下线影响 旧版监控报警功能下线以后，将会对EDAS产品...
采集-多渠道数据
数据采集一般有两种方式，区别如下。本文档主要讨论通过LogHub流式导入（实时）采集数据。方式 优势 劣势 例子 批量导入 吞吐率大，面向历史存量数据 实时性较差 FTP、OSS上传、邮寄硬盘、SQL 数据导出 流式导入 实时，所见即所得，面向...
采集ECS服务日志
通过采集器（Beats），您可以采集云服务器ECS（Elastic Compute Service）中的日志文件、网络数据、服务器指标等数据，发送到阿里云Elasticsearch或Logstash中进行监控、分析等操作。本文以Filebeat为例，介绍如何配置ECS服务日志采集。...
监控分析平台对比
在完成数据采集后，还需要有一套合适的系统进行转换、存储、处理、分析，满足多样的需求。数据问题主要包括：数据多样 各类系统数据：cpu、mem、net、disk等通用硬件指标，系统日志。业务黄金指标：延时、流量、错误、饱和度。业务访问日志...
通过日志服务采集Kubernetes容器日志
定制需求1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
ADAM概览
敏感数据保护：为保证数据库的敏感信息不被泄漏，数据采集器会对采集到的数据进行脱敏。兼容性分析：源库特性匹配：识别对象使用了哪些特性，并给出在目标库上的解决方案。源库使用场景匹配：针对一些特定的使用场景（通常可能会影响性能）...
数据上云工具
通过简单的配置即可完成数据的采集和传输，结合MaxCompute和StreamCompute可以轻松构建流式数据从采集到分析的一站式解决方案。LogStash的DataHub插件可以将日志数据实时上传到DataHub，并归档到MaxCompute表中。具体示例请参见 Logstash+...
资产指纹调查
如果您正在使用 资产暴露分析 功能，中间件 的数据采集频率需要设置为 每1小时采集一次、每3小时采集一次、每12小时采集一次 或 每天采集一次，不能设置为 关闭 或 每7天采集一次。更多信息，请参见 资产暴露分析。完成采集频率设置后，云...
EMR Doctor常见问题
对于存储分析：EMR Doctor默认不启用存储采集分析，您可以手动开启存储采集。开启采集后，通常是上午10点左右进行采集，等待所有采集结束后第二天凌晨才会进行分析并生成报告。如果是当天下午才开启采集，则需要第三天才能看到结果。可以给...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
渠道管理
在Quick Tracking渠道链接管理中创建链接并进行投放 在Quick Tracking各个分析模型中进行分析「渠道管理」功能路径为：「数据采集」-「埋点管理」，在投放前，需要再「渠道管理」功能中对渠道属性、推广对象和推广进行管理，各环节详细操作...
X-Pack高级特性
网络服务器和代理 数据存储库和队列 云服务 容器 网络数据 安全数据 运行状态数据 文件导入 数据扩充 处理器 分析器 分词器 筛选器 语言分析器 Grok 字段转化 外部查询 enrich Geo enrich 模块集成 客户端、API Beats 社区采集agent ...
事件上报概述
您可以将用户在您的APP、小程序、网页等应用上的行为事件（含订单事件）数据实时采集并上报到Quick Audience，会员中台、社交互动 模块也会将相关用户行为事件同步上报到Quick Audience，这些用户行为事件数据将参与实时 ID Mapping 获取...
智能分析-异常根因定位分析利器
OpenTelemetry作为当下可观测领域主流的开源项目，旨在提供可观测性领域的标准化方案，解决观测数据的数据模型、采集、处理、导出等标准化问题，提供与三方vendor无关的服务。OpenTelemetry定义了三个Signal（Trace，Logging，Metric）规范...
名词解释
背景信息 时间序列数据库 TSDB：英文全称为 Time Series Database，提供高效存取时序数据和统计分析功能的数据管理系统。时序数据（Time Series Data）：基于稳定频率持续产生的一系列指标监测数据。例如，监测某城市的空气质量时，每秒...
iOS SDK概述
日志服务iOS SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务iOS SDK方便地采集iOS日志。...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息，请参见 通过Unity Plugin接入数据。
通过日志服务导入至数仓版
具体操作，请参见 数据采集。在AnalyticDB MySQL中已完成以下准备工作。在日志服务Project所在地域，创建AnalyticDB MySQL集群。具体操作，请参见 创建集群。说明 目前日志服务仅支持同地域投递。创建数据库账号。具体操作，请参见 创建...
A/B测试报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
对接DataV
DataV是阿里云的可视化产品，能帮助您通过图形化的界面轻松搭建专业水准的可视化应用，丰富表现日志分析数据。本文档介绍如何通过日志服务对接DataV进行大屏数据展示。前提条件 已采集数据。具体操作，请参见 数据采集。已创建索引。具体...
性能洞察（旧版）
性能洞察（旧版）通过MySQL的performance_schema能力汇聚SQL信息，专注于RDS MySQL实例负载监控、关联分析和性能调优，以简单直观的方式帮助您迅速评估数据库负载，找到性能问题的源头，提升数据库系统的性能和稳定性。前提条件 实例为如下...
采集Systemd Journal日志
Logtail支持从原始的二进制文件中采集Linux系统的Systemd Journal日志。本文介绍如何通过日志服务控制台创建Logtail采集配置采集Systemd Journal日志。前提条件 已在服务器上安装Linux Logtail 0.16.18及以上版本。具体操作，请参见 安装...
全埋点管理
全埋点 全埋点功能进入方式为：数据采集->埋点开发->全埋点。具体路径如图：2.全埋点列表 全埋点上报的事件为采集SDK自动监听捕获的控件点击、曝光和页面浏览的系统事件，这些事件将全部展示在“全埋点列表”中，您可以选择您关心的事件...
产品功能
产品生态打通 ELK全托管 提供Logstash服务和Beats采集中心，帮助您一站式完成数据采集和处理任务。可视化控制中心 支持通过Kibana、Grafana和DataV实现可视化控制与管理。数据迁移与同步 提供各类自建Elasticsearch集群迁移、数据库及大...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
常见问题
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。日志服务可以做什么？存储与分析：存储与分析基础设施日志、应用日志、网站访问日志、容器日志、...
Windows系统异常重启以及蓝屏的处理方法
本文介绍Windows系统异常重启以及蓝屏的处理方法。问题描述 在Windows系统下，有时会遇到蓝屏（BSOD，Blue Screen of Death）情况。Windows操作系统在遇到异常的情况下，为了防止数据丢失，系统自动崩溃蓝屏，如果有配置内存转储文件...
应用场景
相关文档：使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统 信息检索 每一个生活在移动互联网中的用户，每天都在查询各种各样的信息。例如查询信用卡账单、电子发票、附近的餐厅酒店、媒体咨询、购物订单、交通物流等。为了...
监控与日志
监控与日志可有效保障您文件存储NAS资源的...查询和分析日志 对NAS文件系统实例中的资源进行操作时，系统会自动采集审计日志并建立索引。您可以在日志服务查询和分析页面对采集到的日志进行实时查询与分析。相关操作，请参见 查询和分析日志。
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
同步方案选取指南
大数据离线同步场景（可实现最快分钟级的离线数据采集任务）。需要自定义查询语句，以及多表联合查询后同步数据的场景。同步整个数据库中数据的场景。需要开通DataWorks服务。对于传输速度要求较高或复杂环境中的数据源同步场景，需要...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
业务运营报表
说明 目前OpenSearch对用户APP进行的数据统计指标包括：核心指标，流量指标，行为指标，成交指标，用户分析指标，Query分析指标，六个维度：核心指标 指标名 定义 计算公式 依赖 意义 搜索PV PageView：发送搜索请求且成功的次数（翻页也...
调用链采样配置最佳实践
对于绝大多数分布式系统，不是每一条调用链都值得被可观测平台记录，因为其中包含大量重复、低关注度信息。调整采样是目前解决这类问题最高效且主流的方式，但具体配置什么样的采样策略，能够在可控的资源开销和费用成本内，最大程度保证错...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
客户案例
迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国大陆地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
采集器YML配置
通过采集器YML配置，您可以根据需求修改对应的配置，并启用该配置，完成数据采集任务。本文介绍采集器YML文件的配置方法和配置参数详情。前提条件 创建阿里云Elasticsearch实例，并开启实例的 自动创建索引 功能。创建实例的具体步骤请参见...
- 产品推荐
- 这些文档可能帮助您