入门概述
Beats是轻量型的数据采集工具，阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat采集器。本文介绍如何通过使用场景选择对应的采集器，并完成数据采集。数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与...
实人认证方案
权威数据源核身 实人认证操作过程中采集到的活体照片，以及姓名和身份证号，会与权威数据源进行核身比对，核身是否为本人或同一个人。流程 使用限制 实人认证方案目前仅支持对拥有中华人民共和国第二代居民身份证的居民进行认证。认证方案 ...
离线同步任务运维
表数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控，您可以进入数据质量规则页面，对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表，当表关联的调度节点运行（执行节点代码逻辑）完成后...
App端性能体验功能说明
时间范围 支持最近90天的数据查询 维度筛选 支持应用版本、设备机型、操作系统、运营商、渠道、地域的维度筛选 高级功能 新增异常：在时间范围与筛选维度条件下，首次生成错误ID的异常（错误ID是错误摘要唯一识别）屏蔽系统级别的错误：...
SQL Console初体验
当您成功在DMS上登录数据库后，可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例...
MQ推送
选中 同意物联网无线连接服务向选中的消息队列Topic写数据 复选框，并单击 确定。在 消息推送类型 右侧，单击 推送设置 的按钮，按需打开需要推送的消息类型。消息推送类型 推送说明 CARD_STATUS_CHANGE 卡的具体状态发生变化，触发推送。...
快速入门
本文以采集分析ECS的Nginx访问日志为例，介绍开通日志服务、创建日志项目与Logstore、Logtail采集日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。前提条件 已有可用的ECS。更多信息，请参见 云服务器ECS快速入门。ECS服务器持续...
基本概念
资源管理 资源管理，实现系统资产和配置管理功能，提供各类资源及其相关属性的维护管理，范围不仅包括设备、服务器和IoT之类物理资源，也包括IP地址、业务链路等逻辑资源。设备 一般指IP网数通类网络通信设备，比如交换机、路由器、防火墙...
API概览
本产品（数据库文件存储/2020-04-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
DataWorks on EMR快速入门
DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点，实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能，为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...
日志功能配置及查询
创建日志采集 日志采集页面路径：产品管理-（产品选择）-产品组件-（组件选择）-组件日志-日志采集；已默认为每个组件内置了采集Pod的标准输出。2.添加日志采集器 选择组件中需要进行日志采集的工作负载，以及日志采集类型。日志类型分为两...
日志审计服务概述
应用场景 日志服务与审计场景 日志服务提供一站式数据采集、清洗、分析、可视化和告警功能。支持日志服务相关场景：DevOps、运营、安全、审计。典型日志审计场景 日志审计一般分成如下4层需求。基础需求：大部分中小企业客户需要自动化采集...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
实现原理
数据采集：通过安装在机器上的 Agent 采集监控数据，这部分可以是日志，也可以是通过各种方式获取到的指标。数据清洗：将采集得到的非结构化的数据，解析为监控系统可以处理的结构化信息。这部分解析能力需要是事先通过监控系统预设好的...
新建数据采集接口
通过 Quick Tracking 使用数据采集服务的流程如下：配置数据采集渠道（App、小程序、Web）接口，并获取AccessKey，具体操作请参见下文。获取 Quick Tracking 的SDK，并使用上一步中获得的AccessKey进行数据采集程序的开发与部署。SDK和程序...
开启数据采集功能
CloudLens for EBS 支持手动或自动化开启数据采集功能。手动开启采集功能针对单个或当前所有的云盘，自动化开启采集功能支持设置采集条件，并自动采集符合条件的云盘（包括未来创建的）的秒级监控数据。本文介绍开启数据采集功能的操作步骤...
监控分析平台对比
在完成数据采集后，还需要有一套合适的系统进行转换、存储、处理、分析，满足多样的需求。数据问题主要包括：数据多样 各类系统数据：cpu、mem、net、disk等通用硬件指标，系统日志。业务黄金指标：延时、流量、错误、饱和度。业务访问日志...
事件中心
请在事件中心获取事件模型，用于采集和上报事件数据程序的编码，并设置上报的事件数据是否存储于分析源，保存为用户行为表。事件模型 采集和上报一次完整的行为事件，可能包含以下数据：事件编码：即事件ID，必传。用户ID：必传。事件属性...
全景监控
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
功能简介
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
功能简介
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
教程概述
数据采集：通过阿里云DTS的数据同步功能，将RDS中的数据同步到DataHub中，完成数据采集。数据订阅：通过阿里云实时计算Flink，订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。数据展示：通过DataV大屏，对数据进行处理并展示。
数据聚合分析
AnalyticDB的智能分析系统对采集的数据进行了多种分析，从而洞察实例运行状态。实例查询行为画像分析 对单独实例的查询行为进行了统计分析，主要统计指标包括：用户在某段时间内的查询次数；用户查询是否包含join、agg或者sort等；用户第一...
trace
可以完整的深入观察一个应用程序运行时的行为，它揭示了在任务运行中发生了什么，哪个中断触发了任务切换，中断和任务调用了哪个底层系统的API函数。SystemView 不但可以实时分析和展示数据，而且可以帮助用户进行系统调试和问题诊断，尤其...
什么是阿里云Elasticsearch
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
采集-通过WebTracking采集日志
开发难度大/成本高：为完成一次数据采集、分析需求，首先需要购买云主机、公网IP、开发数据接收服务器、消息中间件等，并且通过互备保障服务高可用。接下来需要开发服务端并进行测试。使用不易：数据达到服务端后，还需要工程师先清洗结果...
iOS SDK概述
日志服务iOS SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务iOS SDK方便地采集iOS日志。...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息，请参见 通过Unity Plugin接入数据。
互联网教育：尚学博志（上海）教育科技有限公司
业务挑战 尚学数字化教学解决方案基于移动终端和各类物联网设备进行广泛的数据采集，数据类型也不断扩展，涵盖了教学、学习、生活等不同方面。现有的数据库系统采用的是基于MySQL Share Nothing的部署方案，即依赖主备部署的方式提供高可用...
Quick Tracking基本概念
为了能够快速上手Quick Tracking，建议先了解和学习下采集SDK和流量分析产品的基本概念，这些基本概念会贯穿数据采集到数据分析的全流程。行为采集 在行为采集中，有如下四个基本概念需要了解：系统事件 系统事件是指由采集SDK发出，用来...
管理问题数据
问题数据采集最终将基于您的规则生成数据采集SQL，并在MaxCompute引擎侧执行，此过程将产生MaxCompute计算引擎费用。问题数据采集结果将存储与MaxCompute临时表中，此过程将产生MaxCompute计算引擎存储费用。保留问题数据配置入口 您可在按...
概述
本节为不熟悉关系数据库管理系统的人介绍 SQL 语言。将讨论创建、填充、查询和更新表等基本操作以及示例。还将讨论视图、外键和事务等更高级的概念。PolarDB PostgreSQL版（兼容Oracle）是关系数据库管理系统（RDBMS）。这意味着它是用于...
V3.2.8版本说明
发布时间 2020年9月8日 核心功能 一、数据采集功能包 支持采集埋点事件、研发规范和SDK获取。支持将日志采集数据加工为行为数据集，并同步至ADB3.0数据源中进行进一步的筛选分析，实现再运营。二、媒体回流功能包 支持创建广告监测任务生成...
Android SDK概述
日志服务Android SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务Android SDK方便地采集...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息，请参见 通过Unity Plugin接入数据。
Logtail最佳实践
分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 通过Logtail采集Zabbix数据 采集企业内网服务器日志 主机场景下如何使用Logtail采集超大规模文件 ...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
V3.3.41版本说明
V3.3.41中，自动化营销支持通过 阿里云Quick Tracking 数据采集获取实时行为事件，智能实验室的品牌高潜预测、商品匹配推荐分别成为独立模块并更名为复购预测、货品推荐，此外，还对功能、交互进行了多项优化升级。发布时间 2021年12月16日...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
通过Auditbeat收集系统审计数据并监控文件更改
本文介绍如何通过阿里云Auditbeat收集Linux系统的审计框架数据，监控系统文件的更改情况，并生成可视化图表。背景信息 Auditbeat是轻量型的审计日志采集器，可以收集Linux审计框架的数据，并监控文件完整性。例如使用Auditbeat从Linux ...
分析业务过程
对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的内容是什么。数据在什么情况下会更新，更新的逻辑是什么。业务过程可以是单个业务事件，例如交易的支付、退款等；也可以是某个事件的状态，例如当前的账户余额等；还可以...
- 产品推荐
- 这些文档可能帮助您