基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
统计功能介绍
一、功能效果 网站管理者通过统计功能查看了解网站使用期间的数据，更好的进行针对性优化或推广。二、使用教程 统计功能包括：网站概况、渠道统计、栏目统计、产品统计、文章统计。1.网站概况 1.1 点击网站概况可以查看该网站在选择的时间...
查看同步任务详情
在任务详情页，您可以查看以下信息：数据来源信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际写入至源数据库的时间差。源端数据源配置信息：包括源端数据库主机、端口、名称，数据表及用户名等。数据去向信息：下游...
负载说明
测试结果：在Linux Kernel 3.2及以上的版本，DBGateway支持以PACKET_MMAP方式（在内核空间中分配一块内核缓冲区，然后用户空间程序调用mmap映射到用户空间）更快地抓取数据包。所以DBGateway支持全量SQL功能，在Linux Kernel 3.2及以上的...
产品架构
数据源地址动态适配 对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。数据迁移工作原理 数据迁移...
网络抓包
最大字节数 设置抓取数据包的最大字节数。如果数据包超过该字节数则停止抓包。需要填写最大不超过1048576的整数。时长（s）设置抓包的最长时间。单位：秒。企业版的时长为300秒；旗舰版的时长为600秒。协议 设置抓包的协议类型。可选项：...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
全增量同步任务常见问题
如何处理：参见 PolarDB数据源 的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
通过Reindex API迁移自建Elasticsearch数据
v"-u<username>:<password>#查看index近期更新数据 curl-XGET"<url>/<index>/_search"-u<username>:<password>-H'Content-Type:application/json'-d'{"query":{"bool":{"must":{"exists":{"field":"updateTimestampField"} } } },"sort":[{...
通过Logstash迁移自建Elasticsearch数据
v"-u<username>:<password>#查看index近期更新数据 curl-XGET"<url>/<index>/_search"-u<username>:<password>-H'Content-Type:application/json'-d'{"query":{"bool":{"must":{"exists":{"field":"updateTimestampField"} } } },"sort":[{...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
故障诊断
抓取性能数据 进入应用控制台，点击想查看的应用 实例 按钮，进入对应的实例即可查看 Node.js 性能平台提供的 抓取性能数据 功能，如下图所示：一般来说，如果涉及到内存泄漏的，可以抓取 堆快照，如果是 CPU 异常飙高的，可以抓取 CPU ...
如何排查移动网关调用错误
问题描述 前提条件：客户端已经正确接入移动网关组件（MGS）。MGS 控制台已经正确配置好后端应用 API 服务。问题表现：客户端通过代码发起 PRC 调用，但未能拿到预期结果。...网络包的抓取方法和工具：参见 如何抓取网络包。
网络异常时如何抓取数据包
如果-s为0，则表示自动选择合适的长度来抓取数据包。w：用于将抓包结果导出到文件，而不是在控制台进行分析和打印输出。i：用于指定需要监听的接口（网卡）。vvv：用于输出详细的交互数据。expression：是一个正则表达式，用于过滤报文，...
使用tcpdump抓包分析网络问题
持续时长：设置抓取数据包的时长。单位为秒。网络协议 选择网络协议。支持TCP、UDP和ICMPv4。开启tcpdump后，系统将开始抓包，并生成一个对应的运维任务，任务的状态为 运行中。根据需要对目标ECI实例进行调试，然后关闭tcpdump。关闭...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
整体流程介绍
本文介绍将数据文件导入至图数据库GDB实例中的前提条件及操作流程。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建...将OSS数据导入至图数据库GDB 使用curl命令导入数据文件 使用GdbLoader脚本导入数据文件
Stream Load
curl-location-trusted-u root-H"label:123"-H"where:k1=20180601"-T test.data http://host:port/api/test_db/test_table/_stream_load 将本地文件 test.data 中的数据导入到数据库 test_db 中的 test_table 表，允许20%的错误率（用户是...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
HTTP API
相同的查询在TSDB For InfluxDB®的命令行界面中则返回：name:mymeas time myfield mytag1 mytag2-2017-03-01T00:16:18Z 33.1 2017-03-01T00:17:18Z 12.4 12 14 使用SELECT语句和INTO子句查询数据$curl-XPOST 'https://<网络地址>:3242/...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
通过curl命令访问与管理Elasticsearch
在类型为_doc 的 product_info 索引中，创建了一个名称为 1 和 2 的文档，并分别向文档中插入了一条数据。curl-u<user>:<password>-XPOST xxxxx.public.xxxxx.aliyuncs....
通过HTTP接口清除实例数据
curl-i-u<user>:<password>"<gdbHost>:<gdbPort>/controller/engine/dropAllData?graph_name=user"说明<user>：目标实例的账号。目标实例的账号密码。目标实例的连接地址（内网地址或外网地址）。目标...
示例数据
为了进一步学习InfluxQL，本节将提供示例数据供您下载，并教您如何将数据导入数据库。数据探索、Schema探索和InfluxQL函数等章节都会引用到...下载和写入数据 在终端中输入以下命令来下载一个文本文件，文件中包含符合行协议格式的数据：curl ...
通过导入实现删除
siteid|citycode|username|pv|+-+-+-+-+|3|2|tom|2|4|3|bush|3|5|3|helen|3|+-+-+-+-+对于测试表 test_table，导入数据。curl-location-trusted-u root:H"expect:100-continue"-H"column_separator:,"-H"columns:siteid,citycode,username,...
使用curl命令导入数据文件
本文介绍使用curl命令将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例，创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建，请确保图...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
从OSS导入数据
本文介绍将数据从OSS导入至图数据库GDB的完整流程。前提条件 已创建图数据库GDB实例，创建方法，请参见 创建主实例。已创建OSS的Bucket，创建方法，请参见 控制台创建存储空间。已获取服务关联角色的ARN（arninfo）信息，获取方法，请参见 ...
Agent自动扩容能力说明
Agent副本数量不足可能会导致Agent频繁地因内存溢出而重启，进而导致数据采集延迟甚至丢失。借助 可观测监控 Prometheus 版 的Agent副本水平自动扩容功能，可以规避这一问题。Prometheus Agent自动扩容（HPA）的触发时机和策略 Prometheus ...
Agent自动扩容能力说明
Agent副本数量不足可能会导致Agent频繁地因内存溢出而重启，进而导致数据采集延迟甚至丢失。借助 可观测监控 Prometheus 版 的Agent副本水平自动扩容功能，可以规避这一问题。Prometheus Agent自动扩容（HPA）的触发时机和策略 Prometheus ...
如何抓取网络包
抓取网络包不再像 Charles/Fiddler 那样可以通过“中间人”代理模式来捕获报文，TCP 报文的抓取一般是非侵入式的，通过监听网卡接口数据，直接进行 TCP 报文的“镜像”捕获。在一般场景下，可以抓包的点比较多，可以在客户端抓（A），可以...
命令行界面介绍
Influx的命令行界面（CLI），它是一个用来跟数据库进行交互的轻量级工具。有关如何下载使用CLI，可参考文档命令行界面。CLI默认通过端口3242向TSDB For InfluxDB® HTTP API发送请求，直接与TSDB For InfluxDB®通信。说明 也可以向数据库...
通过Robots协议屏蔽搜索引擎抓取网站内容
概述 Robots协议（也称为爬虫协议、机器人协议等）的全称是网络爬虫排除标准（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。若有些页面访问消耗性能比较高，不希望被搜索引擎抓取，...
通过HTTP API写入数据
有很多方法可以向TSDB For InfluxDB®写入数据，包括通过命令行界面（command line interface）和客户端（client libraries）。在这一章中，我们将向您展示如何使用内嵌的HTTP API写入数据。说明 本章节中的示例使用了curl,一种通过URL来...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
- 产品推荐
- 这些文档可能帮助您