沙盒网络
日志服务帮助沙盒网络解决了多云部署全球化业务场景下数据集中采集统一管理问题，整体异常问题排查时间缩短30%，有效助力业务高速成长。公司简介 沙盒网络致力于打造一个全球范围内的游戏UGC平台，帮助普通玩家将创意转变为游戏。当前沙盒...
业务运营报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
服务器数据采集方案概述
应用系统在提供服务过程中，会产生日志数据、系统指标数据、审计框架数据、检测状态数据以及各类APM监控数据。针对这些数据，可以根据业务的需求和环境，选择对应的方案进行数据采集并传输到Elasticsearch服务。本文对服务器数据采集方案...
DescribeDBClusterMonitor-查询集群监控数据采集频率
查询PolarDB集群的监控数据采集频率。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
开启数据采集功能
CloudLens for PolarDB支持一键开启数据采集功能，用于采集PolarDB MySQL集群的审计日志、慢查询日志、错误日志和性能指标。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建PolarDB MySQL集群。具体操作，请参见 购买按量...
产品概述
产品为客户提供资产建模、数据采集、数据分析、设备监控和数据分析五大产品能力：资产建模：定义设备资产标准模型，管理设备资产数据 提供设备资产全维度数据建模工具 快速构建实体资产数据模型 对设备资产进行全生命周期管理 为数据应用...
教程概述
数据采集：通过阿里云DTS的数据同步功能，将RDS中的数据同步到DataHub中，完成数据采集。数据订阅：通过阿里云实时计算Flink，订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。数据展示：通过DataV大屏，对数据进行处理并展示。
采集公网数据
应用场景 公网数据采集包含移动端、外部服务器、网页和设备数据的采集，采集完成后需要进行实时计算、数据仓库等数据应用。方案1：前端服务器+Kafka 由于Kafka不提供RESTful协议，更多是在集群内使用，因此一般需要Nginx服务器做公网代理，...
治理分析
操作 操作 下为您提供查看数据趋势和健康分排行榜的入口：单击 操作 列下的 图标，查看 近7天 或 近30天 数据趋势。将鼠标悬浮在数据趋势曲线上，可以查看某日的健康分和存储消耗。单击 操作 列下的 图标，为您展示存储量比和存储消耗榜：...
治理分析
操作 操作 下为您提供查看数据趋势和健康分排行榜的入口：单击 操作 列下的 图标，查看 近7天 或 近30天 数据趋势。将鼠标悬浮在数据趋势曲线上，可以查看某日的健康分和存储消耗。单击 操作 列下的 图标，为您展示存储量比和存储消耗榜：...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
资产指纹调查
采集方式 云安全中心不会自动采集资产指纹数据，您需要设置自动周期性采集或手动立即采集来获取最新的资产指纹数据。采集方式 描述 周期性自动采集 云安全中心支持自动采集所有资产的资产指纹数据。您可按需求配置自动采集资产指纹的频率。...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
可视分析创作间和传统BI软件差异比较
自动数据探查帮助了解数据状态、基础分布 编程实现——IT人员通过代码完成数据采集 通过简单表格操作完成数据准备，例如筛选、排序等 编程实现——IT人员通过数据开发，实现数据准备工作 分析过程 自由的数据可视化分析和探索。上传数据一...
采集MySQL Binlog（计划弃用）
重要 日志服务后续计划不再支持MySQL Binlog采集插件，当前已不支持新用户新建采集配置，原有的采集配置仍能正常使用，建议您使用DataWorks或Flink进行采集。具体操作，请参见 MySQL、MySQL数据源。原理 Logtail内部实现了MySQL Slave节点...
Logtail最佳实践
本文介绍Logtail采集相关的最佳实践。分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 通过Logtail采集Zabbix数据 采集企业内网服务器日志 主机场景下...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
服务端埋点验证
如何使用“埋点验证”模块确认“服务端埋点数据上报”的准确性。说明 文档说明：本文内容为使用QuickTracking 服务端埋点时，如何使用“埋点验证”模块确认“服务端埋点数据上报”的准确性。1 打开埋点验证 打开产品首页，点击顶部导航...
采集MySQL查询结果
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集MySQL查询结果。前提条件 已在服务器上安装Linux Logtail 0.16.0及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail...
应用评估
应用评估用于衡量应用与数据库整体迁移改造的情况，可以展示应用需要改造的地方，并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题：难以估算应用改造的工作量。难以制定...
开启数据采集功能
CloudLens for ALB支持一键开启数据采集功能，用于采集ALB访问日志。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建应用型负载均衡实例。具体操作，请参见 创建应用型负载均衡。已创建日志服务Project和Logstore。具体...
通过Filebeat采集Apache日志数据
当您需要查看并分析Apache日志数据时，可以使用Filebeat采集日志数据，并通过阿里云Logstash过滤采集后的日志数据，最终传输到Elasticsearch中进行分析。本文介绍如何通过Filebeat采集Apache日志数据。操作流程 步骤一：准备工作 步骤二：...
基于TairZset实现分布式架构排行榜
借助Tair自研客户端可实现分布式架构排行榜的能力，即可将计算任务分布至多个Key（子排行榜）中完成，您可自定义该Key的数量（默认为10），Tair会将自动数据分散到10个Key中（子排行榜）完成计算，实现分布式架构排行榜。背景信息 实现分布...
执行离线评估
您可以提供需要评估的文件，离线评估通过 SQL 文件、Mybatis、Ibatis 等持久化框架或迁移评估采集文件进行 SQL 兼容性评估，并提供相应的评估报告。操作步骤 新建在线评估任务。登录 OceanBase 管理控制台。在左侧导航栏，单击 迁移评估>...
什么是Logtail
通过在创建Logtail采集配置时设置数据源、采集模式等参数，实现定制化的采集策略。Logtail采集配置定义了如何在服务器上采集同类日志并解析、发送到指定的日志服务Logstore上。基本功能 功能 说明 实时采集日志 动态监控日志文件，实时读取...
表设计最佳实践
源数据采集客户端太多时，如果源数据通过Tunnel直接进入到一个分区，则每个源数据采集客户端提交一次数据，都会在同一分区下产生一个独立的文件，从而导致大量小文件的出现。当SLS触发FunctionCompute持续高频地向MaxCompute中传入文件时，...
采集客户端数据的高可用方案
本文介绍日志服务从客户端采集数据的两个高可用方案，包括双写方案和数据加工复制+写入切换方案。背景 在单集群环境下，日志服务存储采用三副本机制来保证数据的可靠性，即每份数据都有3个副本，副本按照一定的分布式存储算法保存在集群的...
数据采集常见问题
如何排查容器日志采集异常 查询本地采集状态 如何在日志样例中设置不可见字符 如何查看Logtail采集错误信息 日志服务采集数据常见的错误类型 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则模式采集多种格式日志 如何采集K...
数据总览
本文为您介绍如何进入数据总览页面，查看当前地域阿里云主账号下所有的引擎资源情况。操作步骤 进入数据地图页面。登录 DataWorks控制台，切换至目标地域...热门表 根据数据地图表详情页访问PV，为您展示表访问量的排行榜。为实时统计的数据。
阿里云Elasticsearch数据采集解决方案
本文提供了将数据采集到阿里云Elasticsearch服务中的几种解决方案。背景信息 对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的使用场景，从 应用程序搜索 和 网站搜索，到日志、基础架构...
通过Logtail采集Zabbix数据
日志服务支持将Zabbix中的监控数据采集到Logstore中。本文介绍将Zabbix数据采集到日志服务的操作步骤。前提条件 已下载及安装Zabbix。具体操作，请参见 下载与安装Zabbix。本教程中，将Zabbix安装在阿里云ECS上为例。已创建Project和...
最佳实践
从OSS获取CSV文件进行数据富化 从RDS MySQL数据库获取数据进行数据富化 使用RDS内网地址访问RDS MySQL数据库 使用资源函数增量获取数据 使用e_dict_map、e_search_dict_map函数进行数据富化 从Hologres数据库获取数据进行富化 构建字典与...
管理敏感数据
数据自动化扫描。自定义数据扫描触发周期。自动识别企业敏感数据和对敏感数据进行分类分级，及时发现、有效管理企业资产中的敏感数据。敏感数据脱敏管理。提供灵活的脱敏算法管理，实现不同场景、不同字段的差异化脱敏，解决最细粒度授权、...
采集-通过WebTracking采集日志
本文档为您介绍如何通过WebTracking采集日志数据到日志服务中，并对采集到的日志数据进行查询和分析。背景信息 当发送重要邮件时为了确认对方已读，都会在邮件中设置 读取回执 标签，可以在对方已读时收到提醒信息。读取回执这种模式用途很...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
开启数据采集功能
CloudLens for CLB 支持一键开启数据采集功能，用于采集CLB访问日志、配置审计日志和云监控事件。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建CLB实例。具体操作，请参见 创建实例。已为CLB实例配置7层监听，即配置HTTP...
产品系列概述
云时序数据库InfluxDB®的实例包括两个系列：基础版和高可用版。本文介绍如何查看产品系列及各系列的差别。查看产品系列 您可以在 实例详情 页面的 基础信息 栏查看实例所属的系列。各产品系列对比 系列 说明 适用场景 基础版 单节点实例 ...
数据采集2.0
注意事项 数据采集功能会在实例应用创建完成后自动开通 数据，目前主要指终端用户对搜索结果的行为反馈数据 采集，目前主要指通过开放搜索SDK上报搜索行为数据（Server端），App端、Web暂不支持，敬请期待 数据采集2.0相较于老的数据采集...
采集-多渠道数据
数据采集难点 在数据化运营的过程中，第一步是如何将散落的日志数据集中收集起来，其中会遇到如下挑战：多渠道：例如广告商、地推（传单）等。多终端：网页版、公众账号、手机、浏览器（Web、移动端页面）等。异构网：VPC、用户自建IDC，...
- 产品推荐
- 这些文档可能帮助您