使用tcpdump抓包分析网络问题

ECI支持一键开启tcpdump功能,用于捕获和解析网络数据包,帮助您监视和分析网络流量。本文介绍如何开启tcpdump,以便在容器出现网络异常时,抓取网络报文,分析定位问题。背景信息 容器出现网络异常时,您可能需要抓取网络报文来分析定位...

如何抓取网络

通过抓取网络数据,可以针对性地分析由网络层面问题引起的各种症状,包括连接中断、TLS 握手失败、DNS 解析失败等错误。抓取网络包不再像 Charles/Fiddler 那样可以通过“中间人”代理模式来捕获报文,TCP 报文的抓取一般是非侵入式的,...

基础术语

中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...

查看同步任务详情

在任务详情页,您可以查看以下信息:数据来源信息:上游数据抓取延迟:数据同步服务抓取数据写入存储的时间与数据实际写入至源数据库的时间差。源端数据源配置信息:包括源端数据库主机、端口、名称,数据表及用户名等。数据去向信息:下游...

产品架构

如果源数据库为RDS MySQL,那么数据抓取模块通过Binlog dump协议连接源库。日志回放模块:日志回放模块从日志读取模块中请求增量数据,并根据用户配置的同步对象进行数据过滤,然后在保证事务时序性及事务一致性的前提下,将日志记录同步到...

如何排查移动网关调用错误

问题描述 前提条件:客户端已经正确接入移动网关组件(MGS)。MGS 控制台已经正确配置好后端应用 API 服务。问题表现:客户端通过代码发起 PRC 调用,但未能拿到预期结果。...网络包的抓取方法和工具:参见 如何抓取网络包。

统计功能介绍

【关于数据抓取的解释】数据抓取:指一种自动获取网页内容的程序,是搜索引擎的重要组成部分。百度数据抓取:指百度搜索引擎的数据抓取访问您的网站的次数。Google数据抓取:指Google(谷歌)搜索引擎的数据抓取访问您的网站的次数。其他...

添加ClickHouse数据

网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...

Napatech案例

业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升,Napatech公司的用户可以将数据包采集和分析的能力提升至200G,然而上层软件产生的流量数据包元数据也爆增,给后台数据库(比如开源的HBase/ElasticSearch)的存储和索引能力...

无侵入观测概述

抓取:Kernel Hook模块会根据KProbe的定义,拦截网络数据。用于拦截的KProbe内核函数包括connect、accept、write等。预处理:预处理模块会根据用户态配置进行数据的拦截、丢弃以及数据协议的推断,只有符合需求的数据才会被传递给...

添加ClickHouse数据

网络 数据源可选的网络类型。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录数据库的密码。数据库 单击 ...

如何优化数据导入导出

MySQL命令导入数据 程序导入数据 load data语句导入数据 Batch Tool工具导入数据(PolarDB-X 配套的导入导出工具)MySQL原生命令使用示例 mysql-e 命令可以连接本地或远程服务器,通过执行SQL语句,例如select方式获取数据,原始输出数据以...

阶段一:基础防护建设

例如:《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...

网络连通与白名单配置

在调用API时,为了防止资源组不能正常访问数据源,您需要在数据源中配置IP白名单,从而确保资源组的网络连通性。本文为您介绍不同资源组类型对应的IP白名单或其获取方式,以及在数据源中配置IP白名单时的注意事项。获取白名单IP地址:公共...

负载说明

全量SQL采集方案说明 DBGateway开启全量SQL采集后,会创建Linux系统AF_PACKET套接字,并开始抓取网络数据包,但不会影响正常网络通信。DBGateway按照TCP/IP协议解析抓取网络数据包,过滤其他端口的数据包,只对流入MySQL端口的数据包进行...

什么是数据库代理

PolarDB 数据库代理是位于数据库和应用程序之间的网络代理服务,用于代理应用程序访问数据库时的所有请求,具有高可用、高性能、可运维、简单易用等特点,支持自动读写分离、负载均衡、一致性级别、连接池、过载保护等高级功能。...

C100售前支持相关问题

数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能,有以下区别:支持的数据库协议:数据库审计产品是专注于数据库协议解析的,支持的数据库协议更丰富,解析的粒度更细。数据...

管理Agent

停止Agent后,Agent会停止向数据库审计系统转发数据库的访问流量,并中断和数据库审计系统之间的网络连接。如果需要再次启用Agent,您需要在Agent所在服务器手动启用Agent。删除Agent 如果Agent处于 异常 状态或您无需再使用Agent转发数据...

基本概念

DTS 数据传输服务(Data Transmission Service,简称DTS)支持关系型数据库(RDBMS)、非关系型数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,帮助您构建安全、可扩展、高可用的...

网站管理常见问题

Robots协议(也称为爬虫协议、机器人协议等)的全称是网络爬虫排除标准(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。避免出现网站被爬虫访问,导致耗费大量流量和宽带的问题。关于...

使用NimoShake将Amazon DynamoDB迁移至阿里云

NimoShake(又名DynamoShake)是阿里云研发的数据同步工具,您可以借助该工具将Amazon DynamoDB数据库迁移至阿里云。前提条件 已经创建阿里云MongoDB实例,详情请参见 创建副本集实例 或 创建分片集群实例。背景信息 本文档主要介绍...

数据导入性能优化

通过JDBC使用程序导入数据调优 客户端优化 应用端攒批,多条批量导入 在通过JDBC使用程序导入数据过程中,为减少网络和链路上的开销,建议攒批导入。无特殊要求,请避免单条导入。批量导入条数建议为2048条。如果单条数据量过大达到数百KB...

数据导入性能优化

通过JDBC使用程序导入数据调优 客户端优化 应用端攒批,多条批量导入 在通过JDBC使用程序导入数据过程中,为减少网络和链路上的开销,建议攒批导入。无特殊要求,请避免单条导入。批量导入条数建议为2048条。如果单条数据量过大达到数百KB...

文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发...

升级步骤

查看数据同步任务详情(可选)在版本升级的过程中,若升级报错或出现其他异常时,您可以前往对应的DTS数据同步任务详情页查看数据同步任务的详细信息。登录 PolarDB控制台。找到目标集群,单击集群ID。在 基本信息 页面的 PolarDB升级功能 ...

什么是图数据库GDB?

它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。图数据库GDB非常适合社交网络、欺诈检测、推荐引擎、知识图谱、网络/IT运营这类高度互连数据集的场景。例如,在一个典型的社交网络中,常常会...

审计经典网络数据库实例

如果需要审计经典网络数据库实例,您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通,并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时,需要满足限定条件,具体请参见ClassicLink概述的 使用...

连接方式概述

OceanBase Connector/C 也称为 LibOBClient,用于应用程序作为独立的服务器进程通过网络连接与数据库服务器 OBServer 节点进行通信。客户端程序在编译时会引用 C API 头文件,同时可以连接到 C API 库文件。说明 LibOBClient 生成的 so ...

恢复Oracle Standalone数据库

本文介绍如何在 数据库备份DBS 上恢复Oracle Standalone数据库。前提条件 在目标设备上完成恢复前的准备工作。具体操作,请参见 恢复Oracle standalone数据库的准备工作。操作步骤 登录 DBS控制台。单击左侧导航栏中的 备份计划,然后在...

创建全球数据库网络

全球数据网络(Global Database Network,简称GDN)是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络网络中所有集群的数据均保持同步。当您的业务部署在多个地域时,利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...

常见问题

GDB非常适合社交网络,欺诈检测,推荐引擎,实时图谱,网络/IT 运营这类高度互连数据集的场景。更是多信息请参见 什么是图数据库GDB?问:图数据库GDB支持ACID事务吗?答:支持。区别于用户自己控制事务开始和提交的方式,GDB系统会对每...

异构数据源访问

若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源(HDFS、Hive和JDBC)时,可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...

运维阶段

开发人员根据需求将代码发布上线后,还需要及时处理数据程序、调度、监控告警等的异常事件,保障数据产出时效、程序高效运行和生产稳定性。背景信息 数据开发人员主要需要处理以下事项:程序异常处理、性能优化。调度异常处理。数据质量...

使用应用程序访问本地或第三方云数据库

数据库访问点为您屏蔽掉云上、云下、跨云的网络细节,您在阿里云ECS上的应用程序可以安全地访问其他任何网络环境内的数据库,满足您在混合云场景下的在线应用、离线分析,数据迁移等需求。前提条件 参考 快速入门 启动本地Agent并添加数据...

使用应用程序访问本地或第三方云数据库

数据库访问点为您屏蔽掉云上、云下、跨云的网络细节,您在阿里云ECS上的应用程序可以安全地访问其他任何网络环境内的数据库,满足您在混合云场景下的在线应用、离线分析,数据迁移等需求。前提条件 已启动本地Agent并添加数据库。具体操作...

数据仓库研发规范概述

运维人员:负责发布任务,并处理数据程序、调度、监控告警等异常事件,保障数据产出时效、程序高效运行和生产稳定性。信息安全与合规人员:在需求评审前期,负责需求实现的安全性与合规性。数据仓库研发规范整体流程 下图为根据阶段规划...

配置VPC数据

本文介绍在DataV中配置专有网络VPC(Virtual Private Cloud)内数据源的方法。通过专有网络VPC数据源的配置,您可以将专有网络VPC内的数据库接入到DataV中,并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC,详情请参见 什么是...

新功能发布记录

OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...

新建数据采集接口

Quick Audience支持对接阿里云用户行为洞察分析平台 Quick Tracking,从App、小程序、Web页面采集用户行为数据,同步到指定的Quick Audience数据源,以便对这些数据进行进一步的分析运营,同时,支持将采集到的用户行为作为触发自动化营销...

创建PostgreSQL数据

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据源与Dataphin网络互通。具体操作,请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用