采集客户端数据的高可用方案
针对该单集群故障风险，日志服务提供两种异地多活的客户端数据采集方案。方案比较 对比项 方案1：双写 方案2：数据加工复制+写入切换 部署复杂度 低 需要额外部署数据加工、切换写入。客户端资源占用 方案1是方案2的2倍 低 数据一致性 较强...
使用E-MapReduce采集Kafka客户端Metrics数据
本文介绍如何通过E-MapReduce，从Kafka客户端采集Metrics数据，从而有效地进行性能监控。前提条件 已创建Kafka集群，详情请参见 创建集群。说明 本文以EMR-3.21.3版本为例介绍。背景信息 Kafka提供了一套非常完善的Metrics数据，覆盖Broker...
友盟创建应用及埋点
其它自定义108,/可根据实际业务场景自定义，所有自定义场景编码统一 sceneId item的投放场景 自定义，可以理解是对item可露出页面的标记分类，在客户端数据采集时，为当前行为所对应item的具体投放场景。当推荐不分场景时，sceneId=1；如...
安装Jaeger Agent
在 客户端采集工具 区域单击需要使用的链路数据采集客户端。在下方表格的 相关信息 列中，获取接入点信息。说明 如果应用部署于阿里云生产环境，则选择阿里云VPC网络接入点，否则选择公网接入点。对于Zipkin，一般情况下请使用v2版接入点，...
安装Jaeger Agent
在 客户端采集工具 区域单击需要使用的链路数据采集客户端。在下方表格的 相关信息 列中，获取接入点信息。说明 如果应用部署于阿里云生产环境，则选择阿里云VPC网络接入点，否则选择公网接入点。对于Zipkin，一般情况下请使用v2版接入点，...
表设计最佳实践
源数据采集客户端太多时，如果源数据通过Tunnel直接进入到一个分区，则每个源数据采集客户端提交一次数据，都会在同一分区下产生一个独立的文件，从而导致大量小文件的出现。当SLS触发FunctionCompute持续高频地向MaxCompute中传入文件时，...
SDK概述
针对每一端，开发者都需将Quick Tracking的SDK集成在工程中，才能对客户端数据进行采集和传递。SDK采集能力可以简单分为两类：基础采集和高级采集。基础采集是指客户端用户的启动日志和退出日志采集，因为初始化Quick Tracking SDK后，就...
新增消费组
若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 进入 新版DTS订阅任务的列表页面。在页面左上角，选择订阅实例所属地域。定位至目标的订阅实例，并单击实例ID。单击左侧导航栏的 数据消费。在 数据消费 页面，单击...
新增消费组
若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据订阅。在 数据订阅列表 页面上方，选择订阅通道所属地域。定位至已购买的数据订阅通道，单击订阅ID。单击左侧导航栏的...
X-Pack高级特性
数据静态加密支持 基于角色的访问控制 字段级和文档级安全性 审计日志 IP筛选 Security Realm 单点登录SSO 第三方安全性集成 客户端 RESTAPI 语言客户端 Console DSL SQL 时间查询语言EQL JDBC客户端 ODBC客户端 采集和扩充 数据源 操作...
一键上传本地文件
本文为您介绍如何使用HoloStudio导入客户端数据至Hologres。前提条件 阿里云账号注册，详情请参见 阿里云账号注册流程。实名认证，详情请参见 个人实名认证 和 企业实名认证。开通交互式分析Hologres并绑定至DataWorks工作空间，详情请参见...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
基本概念
数据推送后，客户端数据同步 SDK 需要通过 Biztype 将数据分发给对应的业务模块。C 持久化 持久化是将程序数据在持久状态和瞬时状态间转换的机制。在数据同步服务中，该机制产生了两种行为：持久化数据和非持久化数据。持久化数据：当⽤户...
DescribeDataCollction-DescribeDataCollection
item_info 项目信息 industry_specific 工业特性 BEHAVIOR type string 数据采集端的类型 server web app 注：目前只支持 server server industryName string 行业名称 general 通用 ecommerce 电商 GENERAL status integer 状态 0 未开通 ...
对OSS进行客户端加解密
使用场景 当使用KMS托管用户主密钥用于客户端数据加密时，无需向加密客户端提供任何加密密钥，只需在上传对象时指定KMS用户主密钥资源名称（CMK ARN）即可。加密机制 获取加密密钥。通过使用CMK ARN，加密SDK（Encryption SDK）首先向KMS...
RPC 调用
10 客户端数据反序列化错误，服务端数据格式有误。11 客户端登录失败。12 客户端登录账号切换。13 请求中断错误，例如线程中断时网络请求会被中断。14 客户端网络缓存错误。15 客户端网络授权错误。16 DNS 解析错误。17 operationType 不在...
数据加密
对于主密钥的使用，目前支持以下两种方式：使用KMS托管用户主密钥 当使用KMS托管用户主密钥用于客户端数据加密时，无需向OSS加密客户端提供任何加密密钥，只需要在上传对象时指定KMS用户主密钥ID（也就是CMK ID）。具体工作原理如下图所示...
FTP文件传输服务加速
② 服务端告知客户端数据传输端口为2120。③ 客户端重新开启一个端口连接服务端的数据传输端口2120，并进行数据传输。④ 数据传输完成后，服务端主动关闭连接。GA不支持服务端主动发起连接，因此只能支持FTP的被动模式。FTP支持以下三种...
客户端加密
使用KMS托管用户主密钥 当使用KMS托管用户主密钥用于客户端数据加密时，无需向OSS加密客户端提供任何加密密钥，只需要在上传Object时指定KMS用户主密钥ID（即CMK ID）。具体工作原理如下图所示。加密并上传Object 获取加密密钥。通过使用...
客户端问题排查
模式 选择客户端问题排查的模式，可选择的模式有：常规模式：常规模式将采集与客户端相关日志数据上报至云安全中心进行分析，排查需要1分钟左右。增强模式：增强模式将采集与客户端相关的网络、进程、日志等数据上报云安全中心进行分析，...
使用Kafka客户端消费订阅数据
若您使用原生的Kafka客户端消费订阅数据，则可能会在DTS发生增量数据采集模块切换行为，从而使subscribe模式下订阅客户端保存在服务端的消费位点被清除，您需要手动调整订阅的消费位点以实现按需消费数据。若您需要使用subscribe模式建议...
阿里云Elasticsearch数据采集解决方案
本文提供了以下几种常见的将数据采集到阿里云Elasticsearch中的方法：Elastic Beats Logstash 语言客户端 Kibana开发工具 Elasticsearch提供了灵活的RESTful API，用于与客户端应用程序进行通信。因此通过调用RESTful API，可以完成数据...
安装日志采集客户端
日志采集客户端 Logtail 可通过运维脚本批量安装或手动安装。批量安装（推荐）创建指定模板。在 金融分布式架构 控制台页面，选择 运维管理>经典应用服务>日常运维>指令模板，在右侧窗口中单击 创建模板。在 新建指令模板 页面中，填入相应...
采集-通过WebTracking采集日志
本文档中介绍的轻量级采集方案（Web Tracking）只需一个HTTP Get请求即可将数据传输至日志服务Logstore端，适应各种无需任何验证的静态网页、广告投放、宣传资料和移动端数据采集。相比其他日志采集方案，特点如下。Web Tracking接入流程 ...
创建PolarDB-X 1.0数据订阅任务
PolarDB-X 1.0 支持分库分表，源 PolarDB-X 1.0 的某一DDL指令会在所有分表上执行对应的DDL操作，并且每个订阅子任务的进度并不一致，因此DTS的订阅数据可能陆续包含多条此DDL操作，如您多次消费此类DDL操作，可能会导致订阅客户端数据异常...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
客户端进程说明
如果服务端在10个小时内没有收到客户端登录、采集到的数据等信息，会将客户端状态更改为离线。功能状态 云安全中心恶意网络行为防御、恶意主机行为防御等功能，都需要开启对应的进程才能使用。例如：当您为服务器开启恶意网络行为防御开关...
数据传输与迁移概述
日志采集客户端LogStash。流计算任务写入 Flink写入MaxCompute结果表。流数据同步任务写入 DataHub数据同步MaxCompute。KafKa数据同步MaxCompute。自定义写入 SDK写入-流式数据通道（Streaming Tunnel）。离线数据批量数据写入（外表-湖仓...
采集-IoT/嵌入式日志
日志服务团队结合IoT设备的特点，为IoT设备量身定制一套日志数据采集方案：C Producer。嵌入式开发需求 作为IoT/嵌入式工程师，除了需要深厚的开发功底外，面对海量的设备，如何有能力管理、监控、诊断黑盒设备至关重要。嵌入式开发需求...
DTS订阅日志提示“client partition is empty”信息
DTS订阅日志报错client partition is empty,wait partition balance是因为一个订阅ID被多个客户端拉取数据。问题描述 DTS订阅日志提示如下信息。[Thread-1:11039]-[INFO]client partition is empty,wait partition balance 问题原因 一个...
强制客户端开启SSL连接
方法一：配置ACL客户端访问控制 在配置客户端CA证书后，您可以在RDS PostgreSQL实例中配置ACL控制客户端的访问，此时客户端必须携带客户端证书和私钥并通过客户端对应认证方式的验证才能连接数据库。说明 配置ACL期间，PostgreSQL数据库...
产品创建及初始化
企业应在员工安装、使用CloudUEM客户端之前告知员工产品功能、数据采集范围等信息，并结合公司实际规章制度定义需要企业员工签署的使用协议。企业账号体系配置完成后，控制台会跳转回 初始化向导 页面。单击 客户端用户协议 右侧 配置，...
如何处理备份失败问题
备份异常失败超时处理思路，请参见 步骤三：有客户端数据源备份失败处理建议。了解更多，请参见 什么是云备份、云备份支持功能特性。步骤二：无需客户端数据源 备份失败处理建议 根据 云备份 控制台界面提示，修改和确认配置是否正确。备份...
配置客户端CA证书
如果使用云端证书或自定义证书开启SSL链路加密，则表示在SSL链路中，客户端验证数据库的真实性。如果您需要数据库也验证客户端的真实性，还需要配置客户端CA证书，本文介绍配置客户端CA证书的具体操作。前提条件 已完成 快速配置SSL加密 或...
DTS订阅日志提示“client partition is empty”信息
[Thread-1:11039]-[INFO]client partition is empty,wait partition balance 问题原因 一个订阅ID只能被一个客户端拉取数据，如果用这个订阅ID启动了多个客户端，只有一个会拉取到数据，其他客户端就会打印这个日志。解决方案 当拉取数据的...
DTS订阅日志提示“client partition is empty”信息
[Thread-1:11039]-[INFO]client partition is empty,wait partition balance 问题原因 一个订阅ID只能被一个客户端拉取数据，如果用这个订阅ID启动了多个客户端，只有一个会拉取到数据，其他客户端就会打印这个日志。解决方案 当拉取数据的...
DTS订阅日志提示“client partition is empty”信息
[Thread-1:11039]-[INFO]client partition is empty,wait partition balance 问题原因 一个订阅ID只能被一个客户端拉取数据，如果用这个订阅ID启动了多个客户端，只有一个会拉取到数据，其他客户端就会打印这个日志。解决方案 当拉取数据的...
DTS订阅日志提示“client partition is empty”信息
[Thread-1:11039]-[INFO]client partition is empty,wait partition balance 问题原因 一个订阅ID只能被一个客户端拉取数据，如果用这个订阅ID启动了多个客户端，只有一个会拉取到数据，其他客户端就会打印这个日志。解决方案 当拉取数据的...
- 产品推荐
- 这些文档可能帮助您