设备协议
一个数据采集协议可以有多个数据转化协议，一个数据转化协议只有一个数据采集协议。您可根据您的设备及型号选择相关协议，实现设备数据的自动化处理。设备协议界面如下图所示，包括“我的协议”和“协议市场”两部分内容，界面上方为您介绍...
常见问题
日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据？日志服务支持哪些数据接入方式？阿里云会使用我在日志服务上存储的数据吗？阿里云是否会将自己的数据存储在日志服务上？如果数据量突然激增，日志服务如何...
数据采集2.0
注意事项 数据采集功能会在实例应用创建完成后自动开通 数据，目前主要指终端用户对搜索结果的行为反馈数据 采集，目前主要指通过开放搜索SDK上报搜索行为数据（Server端），App端、Web暂不支持，敬请期待 数据采集2.0相较于老的数据采集...
常见问题
日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据？日志服务支持哪些数据接入方式？阿里云会使用我在日志服务上存储的数据吗？阿里云是否会将自己的数据存储在日志服务上？如果数据量突然激增，日志服务如何...
政务舆情分析系统的数据库解决方案
背景信息 全网舆情分析系统，可以实现百亿条网页数据的存储、实时新增网页的抓取和存储，并能对新增网页做实时的元数据提取。有了提取结果，还需要进行进一步的挖掘分析，这些分析包括但不限于：舆情的影响力诊断：从传播量级和扩散趋势来...
空间回收
表中的数据被删除或更新后（UPDATE/DELETE），物理存储层面并不会直接删除数据，而是标记这些数据不可见，所以会在数据页中留下很多“空洞”，在读取数据时，这些“空洞”会随数据页一起加载，拖慢数据扫描速度，需要定期回收删除的空间。...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
常见问题
RDS SQL洞察功能仅做日志保存，无完整的安全分析能力，该功能可以将RDS数据库中的日志采集并投递到日志服务，关于等保要求中的审计告警、审计报表、权责分离等要求无法覆盖。数据安全中心的审计功能可以专业、主动、实时监控数据库安全，...
事件分析
分类名称 分类描述 具体内容 系统属性 该属性作用于所有事件，并且由SDK采集 系统预置的属性，例如SDK的版本 全局属性 该属性作用于所有事件，由用户上报，例如饿了么的地域 用户在采集管理平台的全局属性中作录入的属性 事件属性 该属性...
内网DNS日志
外部DNS，通常指的是您数据中心的内网DNS系统，通过PrivateZone解析器的功能，将来自VPC的域名解析请求，转发到您数据中心的DNS系统进行解析，从而实现阿里云VPC的ECS主机可以访问您数据中心的应用域名。4、递归到外部公网权威DNS上的公网...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
从Oracle迁移应用至阿里云PolarDB全流程指南
数据库和应用采集 登录阿里云官方网站，在 ADAM官网 下载 数据库采集器 和 应用采集器，按照 数据库采集 进行Oracle数据库采集，应用采集 进行Oracle应用采集，生成相应的zip格式的数据压缩包，便于后续上传到阿里云ADAM官网进行分析使用。...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
内网DNS解析日志转存SLS
3、转发到外部DNS上的外部域名 外部DNS，通常指的是您数据中心的内网DNS系统，通过转发管理的功能，将来自VPC的域名解析请求，转发到您数据中心的DNS系统进行解析，从而实现阿里云VPC的ECS主机可以访问您数据中心的应用域名。4、递归到外部...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
常见问题索引
Q9:拿到SDK采集的数据后可以做什么？Q10:集成SDK后多久能看到数据？SDK集成常见问题 Q1：SDK log数据包的发送策略？Q2：SDK log数据包有多大？Q3：集成SDK后为什么没看到日志？Q4：SDK相关接口调用的顺序是否影响埋点？Q5：日志中有哪些...
常见问题
为什么多表归并任务报错DTS-071001？可能是在多表归并任务运行时，在源库进行了Online DDL操作，对源库的表结构等进行了修改，且未手动在目标库进行相应的修改。在旧版控制台配置任务时添加白名单失败，如何处理？请使用新版控制台配置任务...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，需要上传很多数据文件到一个表中，是否有方法写一个脚本就可以把文件夹下的所有数据文件上传上去？使用Tunnel Upload命令上传数据时，如何实现批量上传一个目录下的多个文件到同一张表，并且每个文件放在...
备份SQL Server数据
RDS SQL Server支持自动备份和手动备份两种方式，您可以通过设置备份策略调整RDS数据备份和日志备份的周期实现自动备份，或手动备份数据。备份功能说明 数据备份 备份方式 功能说明 物理备份 支持全量物理备份和增量物理备份，暂不支持逻辑...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
快速入门
Logstash快速入门 Beats Beats是轻量级的数据采集工具，支持一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的，具备采集、监控、...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
App端性能体验功能说明
特殊功能开关：部分高级功能需要打开开关才进行采集，开启开关后可以配置采样率 采样率配置：默认为100%，最高100%，在设备启动时判断此次PV是否采样，您可以根据自身情况调低采样率 注：安卓平台中OOM异常涵盖在崩溃分析中，如果您在SDK...
设置Logtail启动参数
为防止Logtail消耗过多服务器资源，影响其他服务运行，日志服务对Logtail采集性能做了限制。当您需要提升Logtail采集性能时，可修改Logtail启动参数。设置场景 遇到以下场景时，可修改Logtail启动参数。需要采集的日志文件数目大（同时采集...
什么是Quick Tracking
产品简介 全域采集与增长分析(Quick Tracking)是阿里云推出的企业级流量统计分析产品，提供APP/小程序/H5/Web/IoT等数字应用终端的行为采集分析、私域标签画像、性能体验监控、隐私采集授权管理等数据采集与洞察服务，助力企业实现全域数据...
Android SDK
8.3卡顿分析 卡顿分析无法做额外配置，默认为开启，如果您需要关闭此采集功能，请参考本文中的采集开关 安卓卡顿分析默认的值为超过2秒计为卡顿，如果您需要设置不同的阈值，可以通过下方的API进行设置，API和示例如下：/*设置卡顿阈值的...
什么是可观测监控 Prometheus 版
什么是Prometheus实例 Prometheus实例是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控大盘和报警...
什么是可观测监控 Prometheus 版
什么是Prometheus实例 可观测监控 Prometheus 版 是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控...
什么是Logtail
更多信息，请参见 数据采集概述。兼容开源采集Agent Logtail支持Logstash、Beats等开源软件采集的数据作为数据源。更多信息，请参见 数据采集概述。自动处理采集异常 因为服务端错误、网络措施、配额超限等各种异常导致数据发送失败，...
阿里云Elasticsearch数据采集解决方案
本文提供了将数据采集到阿里云Elasticsearch服务中的几种解决方案。背景信息 对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的使用场景，从 应用程序搜索 和 网站搜索，到日志、基础架构...
实现原理
数据清洗：将采集得到的非结构化的数据，解析为监控系统可以处理的结构化信息。这部分解析能力需要是事先通过监控系统预设好的某种规则。例如，日志解析规则、Prometheus 协议规则等。举个例子，有业务日志样例如下，希望通过监控获取每一...
采集公网数据
0.12×100×30=360元 共计：4860元/月 对比结果 从以上两个场景可以看出，使用方案2进行公网数据采集，比方案1的成本低很多。除此之外，和方案1相比方案2还具有以下优势。弹性伸缩：MB-PB/Day间流量随意控制。丰富的权限控制：通过ACL控制...
什么是阿里云Logstash
在阿里云ELK（Elasticsearch、Logstash、Kibana）生态下，Elasticsearch作为实时分布式搜索和分析引擎，Logstash提供了数据采集、转换、优化和输出的能力，Kibana提供了强大的可视化界面，可以被广泛应用于实时日志处理、全文搜索和数据...
什么是阿里云Elasticsearch
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
采集-IoT/嵌入式日志
IoT（Internet of Things）正在高速增长，越来越多设备开始逐步走进日常生活，例如智能路由器、各种电视棒、天猫精灵、扫地机器人等，让我们体验到智能领域的便利。传统软件领域的嵌入式开发模式在IoT设备领域的应用遇到了很多挑战，IoT...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
采集-多渠道数据
数据采集难点 在数据化运营的过程中，第一步是如何将散落的日志数据集中收集起来，其中会遇到如下挑战：多渠道：例如广告商、地推（传单）等。多终端：网页版、公众账号、手机、浏览器（Web、移动端页面）等。异构网：VPC、用户自建IDC，...
转换Log为Metric
更多信息，请参见 数据采集。背景信息 应用程序的运行数据，主要有Log、Trace和Metric这三大类数据。Log是离散的事件，Trace可以认为是带请求追踪的事件，Metric是带统计量的事件。Log、Trace、Metric本质上都是事件，满足事件存储的系统都...
- 产品推荐
- 这些文档可能帮助您