CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
元数据采集
修改元数据采集器的执行计划 进入 已采集列表，单击目标数据源采集器 操作 列的 编辑，即可修改采集器的执行计划，支持的执行计划包括 手动采集 或 周期采集。手动采集：在配置目标数据源的元数据采集器后，需要按需手动触发元数据的采集和...
修改采集器配置
采集器安装完成后，您可以通过采集器配置功能，修改采集器的配置信息。前提条件 已完成采集器的安装，详情请参见 采集ECS服务日志。操作步骤 登录 阿里云Elasticsearch控制台。在左侧导航栏，单击 Beats数据采集中心。在 采集器管理 区域，...
入门概述
Beats是轻量型的数据采集工具，阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat采集器。本文介绍如何通过使用场景选择对应的采集器，并完成数据采集。数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与...
采集ECS服务日志
通过采集器（Beats），您可以采集云服务器ECS（Elastic Compute Service）中的日志文件、网络数据、服务器指标等数据，发送到阿里云Elasticsearch或Logstash中进行监控、分析等操作。本文以Filebeat为例，介绍如何配置ECS服务日志采集。...
数据地图
单击目标采集器 操作 列的 详情、编辑、删除、运行、停止，执行相应操作：详情：查看该采集器的 采集器名称、数据源类型 及 执行计划。编辑：修改该采集器的信息。删除：删除该采集器。运行：单击 运行，即可根据该采集所配置的任务采集...
通过Metricbeat收集系统数据及Nginx服务数据
本文介绍如何通过阿里云Metricbeat采集器收集系统数据（CPU使用率、内存、磁盘IO和网络IO统计数据）和Nginx服务数据，并生成可视化图表。前提条件 您已完成以下操作：创建阿里云Elasticsearch（简称ES）实例。详情请参见 创建阿里云...
日志采集器相关问题
在一个 VPC 中，是否可以有多台机器安装日志采集器？答：推荐使用多个采集器托管一个 VPC 集群内的机器，尤其是在大集群中。安装完采集器之后，采集器所占用的带宽是否计费？答：由于我们使用的是内网带宽，阿里云不会把这一部分流量计入...
通过Uptime实时监控阿里云Elasticsearch服务
当 采集器状态 为 已生效，且 采集器安装情况 显示为 心跳正常 时，说明采集器安装成功。查看Uptime监控信息 登录Kibana控制台。此Kibana控制台为：创建采集器时，采集器Output 指定的阿里云Elasticsearch实例对应的Kibana控制台。具体操作...
UpdateCollectorName
调用UpdateCollectorName，修改采集器名称。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求...
UpdateCollector
调用UpdateCollector，修改采集器配置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求参数...
DescribeCollector
调用DescribeCollector，获取采集器实例的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见...
CreateCollector
调用CreateCollector，创建采集器。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求参数文档。...
ListEcsInstances
创建Beats采集器时，调用ListEcsInstances，获取ECS机器列表。重要 接口前置需要创建AliyunElasticsearchAccessingOOSRole和AliyunOOSAccessingECS4ESRole的系统服务角色，用于Elasticsearch服务账号获取主账号的ECS访问权限等，详细信息请...
ListCollectors
调用ListCollectors，获取采集器列表信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求...
采集器YML配置
通过采集器YML配置，您可以根据需求修改对应的配置，并启用该配置，完成数据采集任务。本文介绍采集器YML文件的配置方法和配置参数详情。前提条件 创建阿里云Elasticsearch实例，并开启实例的 自动创建索引 功能。创建实例的具体步骤请参见...
采集ACK服务日志
说明 ACK集群默认在名称为 logging 的空间下部署采集器资源，部署完成后，您可以访问对应ACK集群查看已部署的采集器资源，例如索引管理容器、索引生命周期滚动更新策略等，详细信息请参见 查看ACK集群中的采集器资源。操作 说明 配置预览 ...
通过Filebeat采集Apache日志数据
操作流程 步骤一：准备工作 步骤二：配置并安装Filebeat采集器 步骤三：配置Logstash管道过滤并同步数据 步骤四：查看数据采集结果 步骤一：准备工作 创建阿里云Elasticsearch实例和Logstash实例，两者版本相同，并且在同一专有网络VPC...
通过迁移评估采集器采集数据库对象
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
数据库采集
ADAM提供在线采集和采集器采集两种数据库采集方式，您可以根据能否从云上去访问源库自行选择采集方式。采集方式介绍 在线采集：将源数据库的网络打通，并在源数据库白名单中添加ADAM服务器，确保ADAM服务器可以直接通过在线采集方式进行...
SQL周期性采集
说明 数据库采集器运行环境要求：数据库采集器所在的机器网络可连接Oracle源数据库即可，无需安装在源数据库物理机上。内存需达到6 GB以上，同时硬盘空间需满足50 GB以上。源库结构采集时，对收集结果数据自动进行参数脱敏。源库结构采集时...
执行离线评估
采集文件：您可以下载迁移评估采集器进行数据采集，采集完成后的文件将上传至云上进行评估。详情请参见 通过迁移评估采集器采集数据库对象。上传文件 单击 上传文件，选择需要评估的文件进行上传。支持上传多个文件，生成一个评估报告。...
数据血缘
元数据采集完成后，您可以在数据总览页面查看当前地域下，配置了数据采集器的Hologres数据库统计信息和表信息，详情请参见 数据总览。如果需要查找表，可参见 通用数据查询与管理。查看血缘详情。查找到目标表后，您可以单击目标表名称进入...
数据库评估概览
单击 在线数据库采集 或 下载采集器，采集源库数据。具体操作，请参见 数据库采集。数据库采集完成后，单击 下一步查看源库画像，单击 新建画像 上传采集的数据包进行数据库分析。具体操作，请参见 数据库画像。在 源库画像 页签，选中目标...
日志服务
功能概述 ADP底座的日志采集器有以下功能：根据日志路径配置日志采集任务，定期汇集日志到Loki存储中，便于后续做日志查询和分析。根据分隔符、json、表达式对日志文件进行字段提取，可以对提取的字段打标添加索引，客户可以根据打标的字段...
应用采集器常见问题
本文档介绍了您在使用应用采集器过程中遇到的常见问题。端口9996被占用报错如何处理？分别修改collector/collector.config和javaagent/javaagent.config配置项。collector.listen.port=9996 profiler.collector.port=9996 找不到JAVA_HOME...
快速入门
Logstash快速入门 Beats Beats是轻量级的数据采集工具，支持一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的，具备采集、监控、...
数据库采集器问题
扩大采集器的物理内存，并调整启动脚本中的JVM_OPTIONS参数为更大启动内存（-Xmx16g）。如何在 Mac OS/Linux 上面查看采集结果中的大文件？将大文件拷贝到一个临时目录下，使用 split-b 10m eoa_tmp_objects_ext.csv 命令将大文件切分成小...
服务器数据采集方案概述
通过Metricbeat收集系统数据及Nginx服务数据 您可以通过阿里云Metricbeat采集器收集系统数据和Nginx服务数据，并生成可视化图表。通过Auditbeat收集系统审计数据并监控文件更改 您可以通过阿里云Auditbeat收集Linux系统的审计框架数据，...
图扑案例
建设效果 目前图扑软件联合阿里云端支撑泛在电力物联网及智能楼宇行业客户实现终端设备传感器云端数据采集、存储、检索，实现并发量100万TPS以上的传感器采集数据的并发写入，最高存储时序时间线40万能力，节约数据存储和系统维护成本达6成...
什么是阿里云Elasticsearch
支持在云服务器ECS（Elastic Compute Service）和容器服务ACK（Alibaba Cloud Container Service for Kubernetes）集群中一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Logstash ...
友盟创建应用及埋点
说明：客户端SDK用于采集发生在APP中的终端用户行为。友盟SDK接入增量行为数据的优势：1.接入成本更低：有成熟的埋点事件，SDK有埋点接口和文档指导客户埋点，无需关注上报问题；2.容错性高：直接将数据上报，无需通过层层数据传递；在采集...
东软案例
东软基于Lindorm打造，面向政企互联网化数字信息系统运维监控场景的新一代IT智能运维系统部署架构如下图所示，其中Lindorm作为核心运维数据存储、检索引擎全量接收来自移动终端、网络嗅探器、业务监控探针、日志采集器等多种数据来源实时...
什么是智能媒体管理
产品概述 智能媒体管理针对不同行业的业务场景封装整合完整的处理能力，提供文档的格式转换及预览，图片的内容识别、人脸检测、二维码检测、人脸搜索等功能，适合媒资管理、智能网盘、社交应用、图库图床等开发者使用。智能媒体管理可以...
批量智能一键成片
智能生产制作支持批量化 智能一键成片，包含【脚本化自动成片】和【智能图文匹配成片】两种解决方案。通过阅读本文，您可以了解方案之间的区别，并结合业务需求进行合理的方案选择。功能说明 一键成片类型 概述 优势 费用 方式① 脚本化...
应用画像
系统信息 系统信息是根据ADAM应用采集器采集的应用运行时系统参数，有助于用户评估应用运行状态。对象汇总 对象汇总主要罗列了应用采集与智能分析出的SQL与数据库对象情况汇总，可以直观通过数据看到应用画像的整体内容。对象详情 对象详情...
阿里云Elasticsearch数据采集解决方案
Elastic Beats Elastic Beats是一组轻量型的数据采集器，可以方便地将数据发送给Elasticsearch服务。由于是轻量型的，Beats不会产生太多的运行开销，因此，可以在硬件资源有限的设备（如 IoT 设备、边缘设备或嵌入式设备）上运行和收集数据...
总体流程
本篇文档主要描述使用数字园区引擎的主要...下发算法到物业管理一体机进行边缘计算，实现对园区智能化事件的采集 获取数字园区引擎中的数据，以及调用园区引擎的服务 管理园区空间，与园区设备绑定，实现园区资产空间可视化 具体流程图如下：
性能监控概述
优势 对于前端开发者而言，Chrome浏览器中的性能分析可能是最为直观的性能数据采集，下图记录了Chrome浏览器加载网页每个事件的时间戳和持续时间，包括JavaScript函数执行、网络请求和渲染过程等。这些数据为前端开发者寻找网页性能瓶颈与...
计费项
本文主要介绍阿里云视觉智能开放平台的各项能力的计费方式及报价。说明 阿里云视觉智能开放平台各类目视觉AI能力API接入、接口使用或问题咨询等，请通过钉钉群（23109592）加入阿里云视觉智能开放平台咨询群联系我们。阿里云视觉智能开放...
- 产品推荐
- 这些文档可能帮助您