应用场景
方案优势：使用便捷：提供50+实时数据采集方式，让您快速搭建平台；强大配置管理能力，减轻运维负担。弹性伸缩：无论是流量高峰还是业务增长都能轻松应对。图 1.数据采集与消费 数据清洗与流计算（ETL/Stream Processing）日志中枢（LogHub...
多源录制
AliyunIVideoCapture 视频数据采集配置接口，包括添加摄像头采集器及添加局部录屏采集器接口。AliyunICameraCapture 摄像头录制接口。AliyunIViewCapture View录制接口。OnVideoRecordListener 录制监听接口，包括设置录制完成回调、录制...
V3.3.41版本说明
V3.3.41中，自动化营销支持通过 阿里云Quick Tracking 数据采集获取实时行为事件，智能实验室的品牌高潜预测、商品匹配推荐分别成为独立模块并更名为复购预测、货品推荐，此外，还对功能、交互进行了多项优化升级。发布时间 2021年12月16日...
上海新能源汽车车辆基础数据
客户简介 上海市新能源汽车公共数据采集与监测研究中心（以下简称“数据中心”）是2014年底由上海市社会团体管理局批准注册成立，由上海市经济和信息化委员会负责业务指导，是上海市的新能源汽车市级监管平台，其主要职责是对上海市推广的...
如何选取统计信息自动采集策略
建议 如果不希望在凌晨执行采集，可以在控制台 参数设置 页面，将 ENABLE_BACKGROUND_STATISTIC_COLLECTION 和 ENABLE_STATISTIC_FEEDBACK 参数的值设置为False，关闭后台定时采集任务与实时采集任务。任务关闭后，建议定期通过手动执行 ...
产品概述
数据采集：采集设备实时数据，集成信息系统业务数据 提供标准化设备数据接入流程，快速采集设备数据 广泛设备协议接入能力，支持OPC、Modbus和多种三方驱动协议 支持API、WebService、消息队列、FTP文件多种业务数据集成方式 根据业务规则...
新建元表
附录：实时数据源配置信息说明 数据源 配置 描述 MaxCompute 来源表、blinkType 来源表：数据的来源表。blinkType：支持选择odps或continuous-odps。odps：作为source表为全量读取，可作为sink表。continuous-odps：作为source表为增量读取...
使用ETL分析实时订单
应用场景 为满足企业处理实时数据的需求，ETL提供了流式数据抽取、加工和加载功能，能够高效整合海量实时数据，支持拖拽式操作和低代码开发方式，帮助企业轻松完成商业决策分析、报表提速、实时数据计算等。企业在数字化转型过程中，涉及...
应用场景
该应用场景在阿里巴巴内部得到了广泛的应用，例如淘宝订单系统每天有上万个下游业务，通过数据订阅获取订单系统的实时数据更新，触发自身的变更逻辑。横向扩展读能力 传输方式：数据同步 对于有大量读请求的应用场景，单个数据库实例可能...
新建数据采集接口
通过 Quick Tracking 使用数据采集服务的流程如下：配置数据采集渠道（App、小程序、Web）接口，并获取AccessKey，具体操作请参见下文。获取 Quick Tracking 的SDK，并使用上一步中获得的AccessKey进行数据采集程序的开发与部署。SDK和程序...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据库采集器问题
本文解释一些数据库采集问题。采集对数据库压力大吗？采集过程全部都是读取操作，唯一消耗CPU资源的操作来自于getddl操作，一般压力都很小。但为了采集顺利进行，建议在业务低峰期执行，否则容易出现Socket Timeout的超时错误（采集sql无法...
核心自治技术案例解析
性能采集负责对实例进行实时性能数据采集，涉及数据库的多项性能指标信息、规格配置信息、实例运行会话信息等。决策中心模块则会根据当前性能数据、实例会话列表数据等信息进行全局判断，以基于根因的全局自治，例如可通过SQL限流来解决...
通过Metricbeat收集系统数据及Nginx服务数据
本文介绍如何通过阿里云Metricbeat采集器收集系统数据（CPU使用率、内存、磁盘IO和网络IO统计数据）和Nginx服务数据，并生成可视化图表。前提条件 您已完成以下操作：创建阿里云Elasticsearch（简称ES）实例。详情请参见 创建阿里云...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
快速搭建实时数仓分析大屏
背景信息 Hologres是阿里云的实时交互式分析产品，通过内置的实时数据API（详情请参见 实时数据API）直接对接实时计算，实现高并发实时写入或查询实时数据，速度达到秒级。Hologres兼容PostgreSQL，将查询到的数据直接对接BI分析工具，使用...
CDH Hive数据抽样采集器
已经开通数据保护伞服务，并配置数据识别规则，详情请参见 数据保护伞概述、通过内置规则识别。使用限制 目前仅上海和成都地域可以使用数据抽样采集器功能。支持基于集群按照数据库进行数据抽样采集。一个集群仅支持新建一个采集器，一个...
通过Logtail跨阿里云账号采集容器日志
设置Logtail采集配置，单击 下一步。具体参数说明，请参见 通过DaemonSet-控制台方式采集容器文本日志。重要 默认一个文件只能匹配一个Logtail采集配置。此时账号B下的采集未停止，账号A下的Logtail采集配置无法生效，因此您需要使用如下...
实时同步任务告警设置最佳实践
对于DataWorks数据集成的实时同步任务、全增量同步任务的实时同步阶段，您可以设置任务告警规则，用来监控同步任务的状态，本文为您介绍实时同步任务告警设置的指标有哪些，并为您示例一个最佳实践。告警规则指标 您可以在DataWorks的运维...
数据传输作业：数据集成
实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至MaxCompute中，实现MaxCompute实时保持和源库的数据对应。一个实时同步任务支持多个转换插件进行数据清洗，并支持多个...
为什么在控制台看不到数据？
重要 如果 集群配置 页签的 采集配置 设置为 全部开启 或 全部关闭，则此处应用的 采集配置 不生效，以集群配置为准。如果应用的 采集配置 设置为 不设置，则应用的上报状态以集群状态为准。SLS资源检查 可观测链路 OpenTelemetry 版 的...
为什么在控制台看不到数据？
重要 如果 集群配置 页签的 采集配置 设置为 全部开启 或 全部关闭，则此处应用的 采集配置 不生效，以集群配置为准。如果应用的 采集配置 设置为 不设置，则应用的上报状态以集群状态为准。SLS资源检查 可观测链路 OpenTelemetry 版 的...
创建实时日志投递任务
通过实时日志功能可以实时采集系统、应用程序或设备操作的日志，并投递到指定的日志分析服务上进行存储和分析，能够有效保护数据安全，快速监控，定位业务问题和优化内容分发性能。不同套餐的支持情况 每种日志类型下可创建的推送任务数量...
数据管理DMS中服务器监控数据的采集频率
本文对数据管理控制台中...关闭、退出服务器管理界面，会自动停止“实时监控”数据的采集。数据管理控制台页面，显示的服务器监控数据，是每隔30秒获取一次数据，如下图所示。关闭数据管理控制台的页面，会自动停止控制台监控数据的采集。
组织管理概述
组织系统配置：获取组织的AccessKey，配置数据采集服务、AES密钥。组织、工作空间说明 一个阿里云主账号购买标准版Quick Audience后，默认作为组织管理员，进行组织初始化，创建一个组织。组织下可创建多个工作空间。工作空间简称“空间”...
A/B测试报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
管理应用和标签
背景信息 在 可观测链路 OpenTelemetry 版 控制台上，当需要显示应用所部属的机器时，默认情况下显示的是机器的IP地址，但是您也可以在 应用设置 页面的 自定义配置 页签上选择改为显示机器名称。说明 仅设置生效之后产生的新数据会受影响...
业务运营报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
管理应用和标签
背景信息 在 可观测链路 OpenTelemetry 版 控制台上，当需要显示应用所部署的机器时，默认情况下显示的是机器的IP地址，但是您也可以在 应用设置 页面的 自定义配置 页签上选择改为显示机器名称。说明 仅设置生效之后产生的新数据会受影响...
实时同步数据库的数据至Hologres
PolarDB MySQL PolarDB MySQL 配置数据源（来源为PolarDB）配置数据源（来源为Oracle）配置数据源（来源为MySQL）配置并管理实时同步任务 同步解决方案 提供多种数据源之间进行不同数据同步场景的同步解决方案，包括实时数据同步、离线全量...
数据血缘
元数据采集完成后，您可以在数据总览页面查看当前地域下，配置了数据采集器的Hologres数据库统计信息和表信息，详情请参见 数据总览。如果需要查找表，可参见 通用数据查询与管理。查看血缘详情。查找到目标表后，您可以单击目标表名称进入...
DataStudio侧实时同步任务配置
目前，同步单表数据支持的输入数据源类型及其配置如下：配置MySQL输入 配置DataHub输入 配置LogHub（SLS）输入 配置Kafka输入 配置PolarDB输入 可选：配置数据转换方式。在实时同步数据的过程中，如果您希望将输入的数据转换为需要使用的...
入门概述
接入数据源：在系统设置模块中为新建工作组配置数据源，具体操作，请参见 新建云计算资源。设计数据模型：在数据建模模块中创建逻辑表，并物理化到数据库，具体操作，请参见 设计数据模型。添加数据节点：在数据开发模块中创建节点，并在...
iOS SDK概述
日志服务iOS SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务iOS SDK方便地采集iOS日志。...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息，请参见 通过Unity Plugin接入数据。
管理数据库资产
在审计数据库前，您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型，请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...
Android SDK概述
日志服务Android SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务Android SDK方便地采集...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息，请参见 通过Unity Plugin接入数据。
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
流式数据通道概述
实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？默认使用批量数据通道，支持流式数据通道模式，需要联系Kafka值班同学后台打开。LogStash日志采集端：使用...
- 产品推荐
- 这些文档可能帮助您