如何排查移动网关调用错误
问题描述 前提条件：客户端已经正确接入移动网关组件（MGS）。MGS 控制台已经正确配置好后端应用 API 服务。问题表现：客户端通过...HTTP 数据包的抓取方法和工具：参见 如何抓取 HTTP 报文。网络包的抓取方法和工具：参见 如何抓取网络包。
查看同步任务详情
在任务详情页，您可以查看以下信息：数据来源信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际写入至源数据库的时间差。源端数据源配置信息：包括源端数据库主机、端口、名称，数据表及用户名等。数据去向信息：下游...
统计功能介绍
一、功能效果 网站管理者通过统计功能查看了解网站使用期间的数据，更好的进行针对性优化或推广。二、使用教程 统计功能包括：网站概况、渠道统计、栏目统计、产品统计、文章统计。1.网站概况 1.1 点击网站概况可以查看该网站在选择的时间...
基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
产品架构
数据源地址动态适配 对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。数据迁移工作原理 数据迁移...
网络抓包
最大字节数 设置抓取数据包的最大字节数。如果数据包超过该字节数则停止抓包。需要填写最大不超过1048576的整数。时长（s）设置抓包的最长时间。单位：秒。企业版的时长为300秒；旗舰版的时长为600秒。协议 设置抓包的协议类型。可选项：...
添加DataV数据代理服务
在使用HTTPS服务之前，请确保DataV页面是使用HTTP协议打开的（该策略可确保HTTPS网站的安全）。填写数据库信息。参数 说明 名称 数据源的显示名称，可以自由命名。域名 DataV Proxy服务器所在IP地址或域名，如果您使用的是ECS服务器，则...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
全增量同步任务常见问题
如何处理：参见 PolarDB数据源 的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
深度解析Lindorm搜索索引（SearchIndex）特性
那么在第二次写入c2的值时，需要读出原始的c1值，才能够拼接出完整的索引数据c1，c2。MUTABLE_ALL（成本最高）写入数据时，业务自定义时间戳（User-Defined Timestamp）。例如：全量任务和增量并存的场景，往往需要在全量任务时携带时间戳...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
版本发布记录
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
通过迁移评估采集器采集数据库对象
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
C100售后支持相关问题
本文介绍了您在使用C100系列数据库审计服务时可能遇到的问题和解决方案，帮助您更好地理解和使用产品。安装Agent相关问题 通过云助手安装的Agent，Agent安装目录是什么？通过云助手安装的Agent，Agent的日志目录是什么？安装Agent时，系统...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
故障诊断
抓取性能数据 进入应用控制台，点击想查看的应用 实例 按钮，进入对应的实例即可查看 Node.js 性能平台提供的 抓取性能数据 功能，如下图所示：一般来说，如果涉及到内存泄漏的，可以抓取 堆快照，如果是 CPU 异常飙高的，可以抓取 CPU ...
RestAPI（HTTP形式）数据源
RestAPI数据源为您提供读取和写入RestAPI双向通道的功能，本文为您介绍DataWorks的RestAPI数据同步的能力支持情况。使用限制 目前该数据源仅支持 独享数据集成资源组。目前不支持设置超时参数，当前DataWorks内置的请求超时时间是60s,如果...
C3P0 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 C3P0 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 c3p0-mysql-jdbc 示例工程 前提条件 您已安装 OceanBase 数据库...
PolarDB for PostgreSQL 11
在命令行执行如下命令测试：只读测试：88C 710 GB(polar.pg.x8.12xlarge)总数据量10亿，热数据1亿/usr/pgsql-11/bin/pgbench-M prepared-v-r-P 1-f./ro.sql-c 256-j 128-T 120-D scale=10000-D range=100000000 总数据量10亿，热数据5亿/...
性能白皮书
在命令行执行如下命令测试：只读测试：88C 710 GB(polar.o.x8.12xlarge)总数据量10亿，热数据1亿/usr/pgsql-11/bin/pgbench-M prepared-v-r-P 1-f./ro.sql-c 256-j 128-T 120-D scale=10000-D range=100000000 总数据量10亿，热数据5亿/usr...
数据源管理常见问题
在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源。说明 DataV支持自建数据库。直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库...
数据源管理常见问题
在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源。说明 DataV支持自建数据库。直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库...
登录数据库审计系统
本文介绍了在启用C100数据库审计实例后，登录数据库审计系统的具体操作。前提条件 已启用C100系列数据库审计实例。具体操作，请参见 启用数据库审计实例。操作步骤 登录 云盾数据库审计控制台。在顶部菜单栏，选择数据库审计实例所在的地域...
负载说明
测试结果：在Linux Kernel 3.2及以上的版本，DBGateway支持以PACKET_MMAP方式（在内核空间中分配一块内核缓冲区，然后用户空间程序调用mmap映射到用户空间）更快地抓取数据包。所以DBGateway支持全量SQL功能，在Linux Kernel 3.2及以上的...
如何支持超大事务
执行SQL语句数量 2048 每条语句携带的数据量 约256 KB～8 MB 数据修改总量 512 MB～16 GB 数据修改条数 2048 测试过程 测试中，每一条SQL语句形如：INSERT INTO `tb` VALUES(id,c)数据表中 c 列的数据类型为longblob，c 的大小从256 KB到8 ...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
Stream Load
如果原始表的src_c1列对应目标表dst_c1列，原始表的src_c2列对应目标表dst_c2列，原始表的src_c3列对应目标表dst_c3列，则写法为 columns:dst_c1,dst_c2,dst_c3。如果原始表的src_c1列对应目标表dst_c2列，原始表的src_c2列对应目标表dst_c...
多可用区部署
云原生多模数据库 Lindorm 支持创建多可用区的实例。该方案将一个Lindorm实例部署在多个可用区，多可用区实例具备更高的容灾能力，同时Lindorm实例可以实现多个可用区之间数据的强一致，也可以在数据最终一致下发出请求返回最快的结果，...
使用tcpdump抓包分析网络问题
持续时长：设置抓取数据包的时长。单位为秒。网络协议 选择网络协议。支持TCP、UDP和ICMPv4。开启tcpdump后，系统将开始抓包，并生成一个对应的运维任务，任务的状态为 运行中。根据需要对目标ECI实例进行调试，然后关闭tcpdump。关闭...
迁移评估概述
目前支持进行对象评估的数据库类型及版本如下：Oracle 数据库：11g/12c/18c/19c MySQL 数据库：5.6/5.7/8.0 DB2 LUW 数据库（仅支持采集文件上传评估）云数据库 RDS PolarDB MySQL 引擎 支持对 Oracle 和 MySQL 数据库的 DDL 语句进行兼容...
应用身份识别
数据库审计服务提供的审计功能，只能审计访问源的IP信息，无法溯源访问应用的具体访问源信息（例如：用户名）。如果您需要在审计日志中查看具体访问源的信息，您可以使用应用身份识别功能。本文介绍如何使用应用身份识别功能。前提条件 已...
表分布定义
数据倾斜检查和处理 当某些表上的查询性能差时，可以查看是否是分区键设置不合理造成了数据倾斜，例如：create table t1(c1 int,c2 int)distributed by(c1);您可以通过下述语句来查看表的数据倾斜情况。select gp_segment_id,count(1)from ...
- 产品推荐
- 这些文档可能帮助您