Logtail
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
MaxCompute在电商场景中如何进行漏斗模型分析
日志服务采集日志数据，详情请参见 数据采集概述。本文以测试数据为例演示，如需下载测试数据，请您单击 TestData 下载。使用MaxCompute构建离线计算数据模型。按照如下建表语句，在DataWorks数据开发界面创建数据引入层（ODS）表ods_user_...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
采集Beats和Logstash数据源
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集Beats和Logstash数据源。前提条件 已在服务器上安装Linux Logtail 0.16.9及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装...
背景信息以及准备工作
提供日志类数据采集、智能查询分析、消费与投递等功能，全面提升海量日志处理/分析能力。LOG强大的日志投递能力，能够从源头对接各种类型的日志格式，并且稳定地将日志投递到指定的位置。阿里云对象存储服务（Object Storage Service，简称...
客户案例
迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国大陆地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
调用链采样配置最佳实践
下图是由ARMS调用链分析功能呈现的可视化调用链路，对于一条完整调用链路，通常用Trace来表示，一个Trace描述一次请求在（多个）服务中经过的路径。继续细分，每个路径均可称为Span，Span代表一个过程，它可以是一次RPC调用、中间件调用，...
通过迁移评估采集器采集数据库对象
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
Flume插件
使用如下命令启动Flume，即可完成CSV文件数据采集进入DataHub：$cd${FLUME_HOME}$bin/flume-ng agent-n a1-c conf-f conf/datahub_basic.conf-Dflume.root.logger=INFO,console 案例二：REGEX serializer REGEX解析数据时将每一行作为一条...
日志服务采集数据常见的错误类型
单击错误查看详细报错，根据其中的log lines、project、category、region等值来进行进一步排查。MYSQL_CHECKPOINT_ALARM MySQL插件错误，检查点相关错误。单击错误查看详细报错，报错根据内容分为如下类型。init checkpoint error.：初始化...
核心概念
数据板块内的数据是完整的，即一个板块内可以独立完成从数据采集到最后的数据加工。例如，某多元化经营的企业，有地产、金融、建筑三个经营方向，这样业务板块可以划分为地产、金融和建筑。主题域 主题域是用于存放同一数据板块内不同意义...
执行在线评估
整库评估 整库评估除包含对象评估和 SQL 评估外，还会采集 CPU、内存和磁盘等系统信息，以及表占比磁盘空间、表增长率、是否存在索引、是否无访问等业务信息，来获取源端数据库的画像信息，提供完整的数据迁移建议。单击 发起评估。在弹出...
DescribeDataCollction-DescribeDataCollection
获取指定应用的数据采集详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v4/openapi/app-...
表设计规范
例如，在规范化设计表的同时对数据通道中的数据采集方式进行优化，可以减少分布式系统中小文件的问题，降低表和分区的维护数量。表设计主要影响 表设计影响的操作有：创建表、导入数据、更新表、删除表及管理表。其中，导入数据场景按照...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
如何使用Prometheus监控SNMP
在当前版本中，我们支持 if_mib module的指标数据采集。这里以常见的思科16口交换机为例，列举SNMP的主要指标：指标名称 指标描述 OID ifAdminStatus 接口状态 1.3.6.1.2.1.2.2.1.7 ifHCOutOctets 接口发出的字节数总计 1.3.6.1.2.1.31.1.1...
如何使用Prometheus监控SNMP
在当前版本中，我们支持 if_mib module的指标数据采集。这里以常见的思科16口交换机为例，列举SNMP的主要指标：指标名称 指标描述 OID ifAdminStatus 接口状态 1.3.6.1.2.1.2.2.1.7 ifHCOutOctets 接口发出的字节数总计 1.3.6.1.2.1.31.1.1...
入门概述
Beats是轻量型的数据采集工具，阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat采集器。本文介绍如何通过使用场景选择对应的采集器，并完成数据采集。数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与...
A/B测试报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
新建数据采集接口
通过 Quick Tracking 使用数据采集服务的流程如下：配置数据采集渠道（App、小程序、Web）接口，并获取AccessKey，具体操作请参见下文。获取 Quick Tracking 的SDK，并使用上一步中获得的AccessKey进行数据采集程序的开发与部署。SDK和程序...
日志审计服务概述
应用场景 日志服务与审计场景 日志服务提供一站式数据采集、清洗、分析、可视化和告警功能。支持日志服务相关场景：DevOps、运营、安全、审计。典型日志审计场景 日志审计一般分成如下4层需求。基础需求：大部分中小企业客户需要自动化采集...
深度检测
数据库自治服务DAS 为 RDS SQL Server 提供深度检测功能，可以检测数据重要指标是否异常，您可以根据检测结果来判断是否进行异常修复。前提条件 当前不支持 RDS SQL Server 2008 R2云盘版。功能说明 您可以通过深度检测功能，检测数据库...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
多源录制
AliyunIVideoCapture 视频数据采集配置接口，包括添加摄像头采集器及添加局部录屏采集器接口。AliyunICameraCapture 摄像头录制接口。AliyunIViewCapture View录制接口。OnVideoRecordListener 录制监听接口，包括设置录制完成回调、录制...
核心自治技术案例解析
性能采集负责对实例进行实时性能数据采集，涉及数据库的多项性能指标信息、规格配置信息、实例运行会话信息等。决策中心模块则会根据当前性能数据、实例会话列表数据等信息进行全局判断，以基于根因的全局自治，例如可通过SQL限流来解决...
业务运营报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
设备协议
设备协议模块可创建的协议以及各协议的功能如下：设备采集协议：将设备数据自动推送到云控平台数据采集端口。数据转化协议：将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据（控制）下发协议：使交通云控平台下发的...
管理问题数据
问题数据采集最终将基于您的规则生成数据采集SQL，并在MaxCompute引擎侧执行，此过程将产生MaxCompute计算引擎费用。问题数据采集结果将存储与MaxCompute临时表中，此过程将产生MaxCompute计算引擎存储费用。保留问题数据配置入口 您可在按...
云原生可观测服务内容说明
1.服务概述 1.1 服务说明 云原生可观测服务是在客户系统上云、用云过程中，提供以阿里云产品体系为主，开源生态组件为辅的统一可观测方案设计、验证与落地的专家服务。该服务基于客户现实情况，以及可观测治理目标，为客户提供统一可观测...
功能特性
数据安全中心 功能集 功能 功能描述 参考文档 数据分类分级 数据资产接入 支持自动发现并接入阿里云上的数据资产。支持通过一键连接或账密连接方式连接数据库，一键接入支持：RDS、PolarDB、PolarDB-X（原DRDS）、Redis、OSS、TableStore、...
可观测概述
在Service Mesh中实现可观测性，涉及了日志、监控指标、链路追踪这些可观测性数据的生成规则配置和采集配置，以及如何将这些可观测数据采集到云托管服务或者自建服务中。同时，还需要考虑如何支持针对网格代理与网关Pod分别定义采集配置，...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
数据采集
时序数据采集 进程时序数据 计算资源包括：CPU使用率。存储资源包括：IO吞吐、IOUtil、IOPS、存储空间使用量、存储空间使用率。服务时序数据 在服务级别根据进程的角色不同，对各类时序数据进行了采集。业务相关的时序数据主要包括：QPS、...
ListDataCollections-ListDataCollections
获取OpenSearch应用的数据采集清单。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v4/openapi/app...
Logtail配置
通过在创建Logtail配置时设置数据源、采集模式等参数，实现定制化的采集策略。本文介绍API模式下Logtail配置相关的参数说明。Logtail配置基础参数说明 参数名称 数据类型 是否必填 示例值 描述 configName string 是 config-sample Logtail...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
教程概述
数据采集：通过阿里云DTS的数据同步功能，将RDS中的数据同步到DataHub中，完成数据采集。数据订阅：通过阿里云实时计算Flink，订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。数据展示：通过DataV大屏，对数据进行处理并展示。
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
采集Syslog
本文介绍如何通过日志服务控制台创建Logtail配置来采集Syslog。前提条件 已在服务器上安装Linux Logtail 0.16.13及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail（Windows系统）...
企业级无线AP与普通的无线路由器的区别
概述 企业级无线AP和普通的无线路由器对于用户来说，都是提供无线接入功能，那么它们之间有什么区别，本文描述企业级无线与普通市场上购买的无线路由器的区别。详细信息 性能上：普通的家用路由器由于成本的限制，采用性能比较差的无线芯片...
- 产品推荐
- 这些文档可能帮助您