日志同步报警
若您购买了数据采集功能包，并在 组织系统配置 中配置了采集数据同步服务，系统将采集的日志数据加工成可用于分析筛选的行为数据，并将加工好的数据自动同步到用户指定的ADB3.0数据源中。若未成功同步数据到用户指定的数据源，则将在消息...
推送采集数据
方法 POST URI/v3/openapi/app-groups/{appName}/data-collections/{dataCollectionName}/data-collection-type/{dataCollectionType}/actions/bulk appName 指的是 opensearch 应⽤名称 dataCollectionName 指的是数据采集名称，...
配置任务常见错误码及排查方法
本文介绍了用户在使用控制台或OpenAPI配置任务时系统返回的错误码、出现报错的场景及解决方法。用户配置使用类错误码 错误码 报错场景 原因及解决方法 DTS.Msg.LXCreateOrderError 购买DTS实例时创建订单不成功。原因：未将UID添加至白名单...
基本概念
DBGateway：DBGateway是部署在用户环境中的守护进程，负责数据库性能数据的采集和计算。但它不读取业务数据，且数据传输会进行加密压缩。更多关于DBGateway的信息，请参见 DBGateway简介。索引：索引是数据库管理系统对数据库表中一个或多...
目标数据库连接性检查
本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不正确 检测方法：在任何一台可以连接目标数据库的设备上，使用数据迁移任务中填入的数据库账号和...
常见问题
售前常见问题 产品计费常见问题 数据采集常见问题 数据存储常见问题 查询与分析常见问题 数据加工常见问题 消费与投递常见问题 售前常见问题 什么是日志服务？日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据...
V3.2.8版本说明
发布时间 2020年9月8日 核心功能 一、数据采集功能包 支持采集埋点事件、研发规范和SDK获取。支持将日志采集数据加工为行为数据集，并同步至ADB3.0数据源中进行进一步的筛选分析，实现再运营。二、媒体回流功能包 支持创建广告监测任务生成...
数据采集2.0
注意事项 数据采集功能会在实例应用创建完成后自动开通 数据，目前主要指终端用户对搜索结果的行为反馈数据 采集，目前主要指通过开放搜索SDK上报搜索行为数据（Server端），App端、Web暂不支持，敬请期待 数据采集2.0相较于老的数据采集...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
数据防泄漏典型案例
常见数据泄露原因 在获得用户授权后，异常告警功能可检测以下类型的问题：内部数据泄漏 笔记本电脑和移动设备的丢失或失窃 敏感数据越权访问和存储 在职员工、待离职员工、合作伙伴、外包人员盗窃数据 员工外发、打印和复制敏感数据 意外...
采集Windows事件日志
您可以通过Logtail插件采集Windows事件日志。本文介绍如何通过日志服务控制台创建Logtail配置采集Windows事件日志。前提条件 已在服务器上安装Windows Logtail 1.0.0.0及以上版本。具体操作，请参见 安装Logtail（Windows系统）。目标...
Pod诊断
数据采集：根据异常识别结果采集和诊断上下文相关的数据。检查项评估：根据采集到的数据，判断关键指标是否正常。根因分析：根据采集的数据和检查项，部分问题可自动分析导致问题的原因。诊断结果 诊断结果包括根因结果与检查项。根因诊断...
Pod诊断
数据采集：根据异常识别结果采集和诊断上下文相关的数据。检查项评估：根据采集到的数据，判断关键指标是否正常。根因分析：根据采集的数据和检查项，部分问题可自动分析导致问题的原因。诊断结果 诊断结果包括根因结果与检查项。根因诊断...
实验介绍
实操该实验后，可在DataWorks独立完成数据采集、数据开发和任务运维等数据岗位常见任务。实验时长 采用在线学习的方式，预计耗时1小时。实验费用 本案例运行可能会产生一定的费用。为避免产生过多费用，本案例在创建相关表时，生命周期 已...
数据采集2.0 SDK
数据采集SDK SDK功能简介 数据采集文档推送类。管理搜索应用的数据采集文档推送，包含单条推送文档、批量推送文档等。Java SDK 版本说明 PHP SDK 相关下载 Python SDK 行为数据推送Demo Go SDK 行为数据推送Demo C#SDK 行为数据推送Demo 类...
解读实例诊断报告
性能水位 性能指标 危险阈值 影响 可能的原因及排查方法 CPU使用率 60%CPU使用率持续升高将影响实例整体的吞吐量和客户端应用的响应速度，极端情况下甚至会导致应用不可用。可能的原因：执行高复杂度的命令。存在热点Key。频繁建立连接。...
什么是自动驾驶开发平台
能够解决的问题如下 海量非结构化数据快速预处理 利用数据管理并行计算框架，在阿里云上以云原生的方式分布式处理海量非结构化数据，采集到的感知数据处理效率提高10倍。感知数据多模态检索 无论是经过标注还是未经标注的传感器输出数据，...
性能洞察（旧版）
数据库性能优化和监控是数据库管理和开发人员必须关注的重要任务。性能洞察（旧版）通过MySQL的performance_schema能力汇聚SQL信息，专注于RDS MySQL实例负载监控、关联分析和性能调优，以简单直观的方式帮助您迅速评估数据库负载，找到...
解读实例诊断报告
性能水位 性能指标 危险阈值 影响 可能的原因及排查方法 CPU使用率 60%CPU使用率持续升高将影响实例整体的吞吐量和客户端应用的响应速度，极端情况下甚至会导致应用不可用。可能的原因：执行高复杂度的命令。存在热点Key。频繁建立连接。...
执行在线评估
背景信息 在线评估是直接连接目标数据库，采集源端数据库的对象、SQL 语句和数据库负载等信息，与 OceanBase 数据库的现有能力进行兼容性对标，查找其不兼容点并提供修复方法。操作步骤 新建在线评估任务。登录 OceanBase 管理控制台。在...
常见错误码及排查方法
本文介绍DTS的常见错误码、报错原因及排查方法，帮助您进行初步的报错排查。文中提及的报错示例仅供参考，实际遇到的报错可能不完全一样。错误码 报错说明 报错示例 可能的解决方法 DTS-51009 DTS写入模块读取DTS缓存模块时，显示连接超时...
SQL周期性采集
本文介绍Oracle数据库周期性采集SQL信息以及数据分析的方法。前提条件 Oracle数据库版本为10g、11g、12c。背景信息 周期性采集可以根据自定义的采集周期，持续采集Oracle的SQL信息，并对SQL信息自动合并。说明 周期性采集目前只在离线采集...
表设计最佳实践
采集源表的设计 数据采集方式包括流式数据写入、批量数据写入和周期调度条式数据插入。数据量较大时，需确保同一个业务单元的数据使用分区表设计；数据量较小时，需优化采集频率。流式数据写入 对于流式写入的数据，采集的通道通常较多，...
外部表概述
外部表示例 您可以通过以下示例，深入了解通过MaxCompute外部表功能处理各种非结构化数据的方法：访问OSS和TableStore（OTS）非结构化数据，请参见 访问OSS非结构化数据 和 访问OTS非结构化数据。外部表访问OSS的账号，在RAM中自定义授权...
接入Logstash
Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、大小和来源的数据。在实际业务中，数据往往以各种各样...
使用集群诊断
配置故障诊断 重要 使用故障诊断功能时，系统将在您的集群上执行数据采集程序并收集检查结果。采集的信息包括系统版本、负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。配置Pod诊断和...
采集-多渠道数据
服务端数据采集 支付宝和微信公众账号编程是典型的Web端模式，一般会有四种类型的日志：Nginx和Apache访问日志 Nginx和Apache访问日志用以监控、实时统计。10.1.168.193-[01/Mar/2012:16:12:07+0800]"GET/Send?AccessKeyId=8225105404 ...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
采集客户端数据的高可用方案
本文介绍日志服务从客户端采集数据的两个高可用方案，包括双写方案和数据加工复制+写入切换方案。背景 在单集群环境下，日志服务存储采用三副本机制来保证数据的可靠性，即每份数据都有3个副本，副本按照一定的分布式存储算法保存在集群的...
iOS
第三方美颜接口调用 RTC SDK YUV 裸数据人脸识别接入接口，人脸识别接入时，需要订阅采集之后的前处理 buffer 数据，所以在 startPreview 之后需要调用 registerVideoSampleObserver 接口获取采集前处理数据并处理。brief 订阅采集视频前...
最佳实践概览
查询分析RocketMQ客户端日志 通过Elasticsearch和rsbeat实时分析Redis slowlog 服务器数据采集 服务器数据采集方案概述 阿里云Elasticsearch数据采集解决方案 通过自建Metricbeat收集系统指标信息 使用SkyWalking和Elasticsearch实现全链路...
监控服务概览
OpenAPI访问监控数据 OSS服务的相关监控指标数据可以通过云监控提供的OpenAPI访问，使用方法请参见：云监控SDK参考 访问监控数据 监控、诊断和故障排除 监控诊断和故障排除 通过详细介绍以下各个方面的内容帮助您更好地了解OSS服务的运行...
快速入门
Logstash快速入门 Beats Beats是轻量级的数据采集工具，支持一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的，具备采集、监控、...
通过DTS采集数据
查看数据采集结果。回到 DataHub控制台，查看通过DTS创建的数据结构是否有缺失。在RDS数据库中插入一条数据，单击 数据抽样，查看增量数据同步结果。注意 DataHub同步的是增量数据，您的数据库中必须插入、删除或更新一条或多条数据后，才...
pg_profile
pg_profile 是 PolarDB PostgreSQL版 支持的一款第三方插件，能够统计目标数据库中资源密集型活动，来分析和优化数据库。此扩展基于PostgreSQL的统计视图和部分社区插件，完全由PL/pgSQL编写，无需任何外部库或软件。配合 pg_cron 插件可以...
接入Redis监控数据
您可使用Telegraf采集Redis监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Redis可视化监控方案。本文介绍如何通过日志服务来完成Redis监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接...
接入Elasticsearch监控数据
您可使用Telegraf采集Elasticsearch监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Elasticsearch可视化监控方案。本文介绍如何通过日志服务来完成Elasticsearch监控数据的采集和可视化。前提条件 Telegraf所在的...
接入MySQL监控数据
您可使用Telegraf采集MySQL监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建MySQL可视化监控方案。本文介绍如何通过日志服务来完成MySQL监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接...
接入MongoDB监控数据
您可使用Telegraf采集MongoDB监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建MongoDB可视化监控方案。本文介绍如何通过日志服务来完成MongoDB监控数据的采集和可视化。前提条件 已创建Project和MetricStore。具体...
接入Clickhouse监控数据
您可使用Telegraf采集Clickhouse监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Clickhouse可视化监控方案。本文介绍如何通过日志服务来完成Clickhouse监控数据的采集和可视化。前提条件 Telegraf所在的服务器可...
- 产品推荐
- 这些文档可能帮助您