采集客户端数据的高可用方案
针对该单集群故障风险，日志服务提供两种异地多活的客户端数据采集方案。方案比较 对比项 方案1：双写 方案2：数据加工复制+写入切换 部署复杂度 低 需要额外部署数据加工、切换写入。客户端资源占用 方案1是方案2的2倍 低 数据一致性 较强...
使用E-MapReduce采集Kafka客户端Metrics数据
本文介绍如何通过E-MapReduce，从Kafka客户端采集Metrics数据，从而有效地进行性能监控。前提条件 已创建Kafka集群，详情请参见 创建集群。说明 本文以EMR-3.21.3版本为例介绍。背景信息 Kafka提供了一套非常完善的Metrics数据，覆盖Broker...
友盟创建应用及埋点
其它自定义108,/可根据实际业务场景自定义，所有自定义场景编码统一 sceneId item的投放场景 自定义，可以理解是对item可露出页面的标记分类，在客户端数据采集时，为当前行为所对应item的具体投放场景。当推荐不分场景时，sceneId=1；如...
安装Jaeger Agent
在 客户端采集工具 区域单击需要使用的链路数据采集客户端。在下方表格的 相关信息 列中，获取接入点信息。说明 如果应用部署于阿里云生产环境，则选择阿里云VPC网络接入点，否则选择公网接入点。对于Zipkin，一般情况下请使用v2版接入点，...
表设计最佳实践
源数据采集客户端太多时，如果源数据通过Tunnel直接进入到一个分区，则每个源数据采集客户端提交一次数据，都会在同一分区下产生一个独立的文件，从而导致大量小文件的出现。当SLS触发FunctionCompute持续高频地向MaxCompute中传入文件时，...
SDK概述
针对每一端，开发者都需将Quick Tracking的SDK集成在工程中，才能对客户端数据进行采集和传递。SDK采集能力可以简单分为两类：基础采集和高级采集。基础采集是指客户端用户的启动日志和退出日志采集，因为初始化Quick Tracking SDK后，就...
Yonghong BI
登录客户端，在左侧导航栏单击 创建数据集，在页面中选择 自服务数据集 进入新建页面。单击页面上方的 数据集，在列表中单击目标数据源。将目标表拖拽到右侧空白画布区域，并将表和 数据集结果 相连。单击页面上方的 图标，并输入文件名称...
新增消费组
若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 进入 新版DTS订阅任务的列表页面。在页面左上角，选择订阅实例所属地域。定位至目标的订阅实例，并单击实例ID。单击左侧导航栏的 数据消费。在 数据消费 页面，单击...
新增消费组
若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据订阅。在 数据订阅列表 页面上方，选择订阅通道所属地域。定位至已购买的数据订阅通道，单击订阅ID。单击左侧导航栏的...
X-Pack高级特性
数据静态加密支持 基于角色的访问控制 字段级和文档级安全性 审计日志 IP筛选 Security Realm 单点登录SSO 第三方安全性集成 客户端 RESTAPI 语言客户端 Console DSL SQL 时间查询语言EQL JDBC客户端 ODBC客户端 采集和扩充 数据源 操作...
基本概念
数据推送后，客户端数据同步 SDK 需要通过 Biztype 将数据分发给对应的业务模块。C 持久化 持久化是将程序数据在持久状态和瞬时状态间转换的机制。在数据同步服务中，该机制产生了两种行为：持久化数据和非持久化数据。持久化数据：当⽤户...
查看系统审计到的语句
单击 导出文件，将统计到的客户端数据导出至本地查看。单击表中的 执行次数，系统可跳转至 模板检索 页面，您可以在该页面对SQL语句模板信息进行查询，以便快速定位高危SQL语句。更多 模板检索 功能信息，请参见 模板检索。语句检索 语句...
数据加密
对于主密钥的使用，目前支持以下两种方式：使用KMS托管用户主密钥 当使用KMS托管用户主密钥用于客户端数据加密时，无需向OSS加密客户端提供任何加密密钥，只需要在上传对象时指定KMS用户主密钥ID（也就是CMK ID）。具体工作原理如下图所示...
数据库审计的审计事件
ClientAccessStatementReport 获取客户端访问语句量统计分析报告数据集。ClientRiskProbabilityReport 获取客户端风险量概率分析报告数据集。ClientRiskReport 获取客户端风险分析报告数据集。ClientSessionReport 获取客户端会话统计报告...
客户端问题排查
模式 选择客户端问题排查的模式，可选择的模式有：常规模式：常规模式将采集与客户端相关日志数据上报至云安全中心进行分析，排查需要1分钟左右。增强模式：增强模式将采集与客户端相关的网络、进程、日志等数据上报云安全中心进行分析，...
使用Kafka客户端消费订阅数据
新版数据订阅支持使用0.11版本至2.7版本的Kafka客户端消费订阅数据，DTS为您提供了Kafka客户端Demo，本文将介绍该客户端的使用说明。注意事项 使用本文提供的Demo消费数据时，如果采用auto commit（自动提交），可能会因为数据还没被消费完...
安装日志采集客户端
日志采集客户端 Logtail 可通过运维脚本批量安装或手动安装。批量安装（推荐）创建指定模板。在 金融分布式架构 控制台页面，选择 运维管理>经典应用服务>日常运维>指令模板，在右侧窗口中单击 创建模板。在 新建指令模板 页面中，填入相应...
阿里云Elasticsearch数据采集解决方案
本文提供了以下几种常见的将数据采集到阿里云Elasticsearch中的方法：Elastic Beats Logstash 语言客户端 Kibana开发工具 Elasticsearch提供了灵活的RESTful API，用于与客户端应用程序进行通信。因此通过调用RESTful API，可以完成数据...
创建PolarDB-X 1.0数据订阅任务
PolarDB-X 1.0 支持分库分表，源 PolarDB-X 1.0 的某一DDL指令会在所有分表上执行对应的DDL操作，并且每个订阅子任务的进度并不一致，因此DTS的订阅数据可能陆续包含多条此DDL操作，如您多次消费此类DDL操作，可能会导致订阅客户端数据异常...
客户端进程说明
如果服务端在10个小时内没有收到客户端登录、采集到的数据等信息，会将客户端状态更改为离线。功能状态 云安全中心恶意网络行为防御、恶意主机行为防御等功能，都需要开启对应的进程才能使用。例如：当您为服务器开启恶意网络行为防御开关...
采集-通过WebTracking采集日志
本文档中介绍的轻量级采集方案（Web Tracking）只需一个HTTP Get请求即可将数据传输至日志服务Logstore端，适应各种无需任何验证的静态网页、广告投放、宣传资料和移动端数据采集。相比其他日志采集方案，特点如下。Web Tracking接入流程 ...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
数据传输与迁移概述
日志采集客户端LogStash。流计算任务写入 Flink写入MaxCompute结果表。流数据同步任务写入 DataHub数据同步MaxCompute。KafKa数据同步MaxCompute。自定义写入 SDK写入-流式数据通道（Streaming Tunnel）。离线数据批量数据写入（外表-湖仓...
ODC 常见问题
问题原因 因为此时用户是通过导入往数据库中写入数据，与 ODC 自身的客户端编码无关，需保证导入文件编码和数据库认为客户端使用的字符集保持一致。解决方案 将导入文件由 GBK 转码至 UTF8 后，再导入，乱码问题解决。数据导出导入问题 Q：...
DTS订阅日志提示“client partition is empty”信息
DTS订阅日志报错client partition is empty,wait partition balance是因为一个订阅ID被多个客户端拉取数据。问题描述 DTS订阅日志提示如下信息。[Thread-1:11039]-[INFO]client partition is empty,wait partition balance 问题原因 一个...
配置客户端CA证书
如果使用云端证书或自定义证书开启SSL链路加密，则表示在SSL链路中，客户端验证数据库的真实性。如果您需要数据库也验证客户端的真实性，还需要配置客户端CA证书，本文介绍配置客户端CA证书的具体操作。前提条件 已完成 快速配置SSL加密 或...
产品创建及初始化
企业应在员工安装、使用CloudUEM客户端之前告知员工产品功能、数据采集范围等信息，并结合公司实际规章制度定义需要企业员工签署的使用协议。企业账号体系配置完成后，控制台会跳转回 初始化向导 页面。单击 客户端用户协议 右侧 配置，...
采集-IoT/嵌入式日志
客户端日志不落盘：即数据产生后直接通过网络发往服务端。客户端计算与I/O逻辑分离：日志异步输出，不阻塞工作线程。支持多优先级：不同客户端可配置不同的优先级，保证高优先级日志最先发送。本地调试：支持设置本地调试，便于您在网络...
客户端工具
简介 表格存储客户端管理工具在本地安装之后，提供图形化的操作界面，支持以下操作：创建、更新和删除数据表 写入、更新、读取和删除数据 安装客户端 控制台客户端 Windows 版 控制台客户端 Mac 版 更多云上软件尽在 云市场。登录客户端 ...
通过 Go 客户端连接 OceanBase 数据库
为您介绍使用 Go 客户端通过代理模式连接数据库的操作。前提条件 在使用 GO 客户端时，尽量使用最新版本的客户端，最新版本客户端请详见 GitHub go 客户端仓库。引入 obkv-table-client-go 依赖，在本地 GO 仓库上执行以下命令，获取最新 ...
SSL连接RDS PostgreSQL数据库
操作步骤 pgAdmin客户端SSL连接 pgAdmin客户端是PostgreSQL官方推荐的数据库连接工具，在 PostgreSQL官方网站 下载并安装PostgreSQL时，将会自动安装 pgAdmin 4 客户端。下文以 pgAdmin 4 V6.2.0 为例，介绍如何连接RDS PostgreSQL实例。...
Kafka兼容说明
流引擎的流表兼容Kafka协议，支持通过开源Kafka客户端写入数据，也支持通过Kafka生态工具将MySQL、日志等数据投递至流引擎。本文介绍通过开源Kafka客户端将数据写入流表的操作步骤。操作步骤 获取流引擎连接地址。具体操作，请参见 查看...
MQTT客户端上下线事件数据流出
您可通过配置 云消息队列 MQTT 版 的客户端上下线通知规则，将获取的MQTT客户端上下线事件数据导出至其他阿里云产品。该方法为异步上下线通知。本文介绍客户端上下线通知的原理、应用场景、使用限制以及 云消息队列 MQTT 版 与其他阿里云...
米哈游
在数据采集方面，日志服务支持客户端、网页、协议、SDK、API等50多种采集方式，支持断点续传以保证数据采集可靠性，根据不同业务环境支持内网+VPC、公网+全球加速等多种传输方式。日志服务帮助《原神》高效可靠地采集来自不同区域服务日志...
GetRedisAllSession-获取Redis实例当前会话
12 Db long 该客户端正在使用的数据库 ID。0 Events string 文件描述符事件，取值为：r：客户端套接字在事件 Loop 中可读。w：客户端套接字在事件 Loop 中可写。r Fd long 套接字所使用的文件描述符。73 ClientDesc string 客户端别名。...
DataWorks快速入门指引
15分钟 Github实时数据同步与分析 DataWorks、Hologres、DataV 基于GitHub Archive公开数据集实时采集并分析展示数据。30分钟 简单用户画像分析（MaxCompute版）DataWorks、MaxCompute、RDS、OSS 以用户画像分析为例，进行数据采集、清洗...
设置连接池类型
开启事务级连接池后，当客户端发送请求时，会先与数据库代理建连，代理不会马上将其与后端数据库建连，而是先从事务级连接池里查找是否存在可用的连接（判断是否为可用连接的条件：user、dbname 和系统变量这3个参数值是否一致）。...
兼容性概览
以下列出了 AnalyticDB MySQL版 支持的客户端或ETL工具，以及这些客户端或工具与 AnalyticDB MySQL版 在数据库连通性、列举数据库、建表、查询表数据等方面的兼容性。客户端与 AnalyticDB MySQL版 兼容性 客户端 连接数据库 列举数据库 建...
快速配置SSL加密
步骤二：下载CA证书 开启云端证书后，RDS PostgreSQL数据库提供数据库CA证书供您下载，当您通过客户端远程连接RDS PostgreSQL数据库时，使用数据库CA证书可以对数据库真伪进行校验。切换证书来源为 使用云端证书，单击 下载CA证书。解压...
- 产品推荐
- 这些文档可能帮助您