使用前须知

通过本地DNS日志,您可以了解网络中的DNS查询活动,检测异常的查询行为、域名劫持和DNS污染等问题 网络会话日志 sas-log-session 记录网络连接和数据传输的日志,包括网络会话的详细信息,包括会话开始时间、双方IP地址、使用的协议和端口...

Vector

TVS.SCAN TVS.SCAN index_name cursor[MATCH pattern][COUNT count][FILTER filter_string][VECTOR vector][MAX_DIST max_distance]在指定向量索引中,扫描符合条件的数据记录(key)。TVS.HINCRBY TVS.HINCRBY index_name key attribute_...

管理数据

本文介绍数据树的管理功能。前提条件 已登录DataV-Atlas控制台。已添加可用数据库。刷新数据库/文件夹/表 选择需要查看的层级,单击右上角的 图标,完成刷新...说明 当勾选多个数据时,右侧的地图将展示勾选的多个栅格数据记录的预览效果。

如何设计时序数据

以下图的空气检测数据为例:每个时间点对应的数据记录可以详细分为几个部分:表(Table):代表一系列同类时序数据的集合。标签(Tags):表明指标项监测针对的具体对象属性。其中一个标签(Tag)由一个标签键(Key)和一个对应的标签值...

添加ClickHouse数据

网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...

从SLS同步

说明 具体的脏数据记录,您可以单击投递任务 操作 列的 监控 查看。单击 确定。成功配置SLS数据投递后,您可以在 日志投递 页面查看投递任务。任务状态从 待同步 变更为 同步中 后,即成功开启SLS日志投递。说明 您可以对投递任务进行 监控...

Napatech案例

业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升,Napatech公司的用户可以将数据包采集和分析的能力提升至200G,然而上层软件产生的流量数据包元数据也爆增,给后台数据库(比如开源的HBase/ElasticSearch)的存储和索引能力...

名词解释

TABLE 〇 〇 Table(表)是一种结构化的数据对象,用于存储和组织相关的数据记录。构建表时需要定义表的Schema结构,包括表的列名和列类型。在宽表引擎中创建的表称为 宽表,在时序引擎中创建的表称为 时序表。PRIMARY KEY 〇 〇 Primary ...

内置时空数据引擎Ganos

提供拓扑网络路径分析和大规模点云存储与查询支持 Ganos所包含的几何网络数据库引擎支持Node-Edge拓扑网络构建,支持Turn、U-Turn等概念,支持TSP(旅行商问题)、KSP(多条线路最短路径)、TRSP(转向限制的最短路径)等一系列路径规划...

审计经典网络数据库实例

如果需要审计经典网络数据库实例,您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通,并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时,需要满足限定条件,具体请参见ClassicLink概述的 使用...

添加ClickHouse数据

网络 数据源可选的网络类型。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录数据库的密码。数据库 单击 ...

创建导出任务

标签映射 为导出的数据记录设置TSDB标签,第一个框填写标签名称,第二个框填写标签值,该配置项的标签名与标签值均支持表达式替换。投递时间 从什么时间开始数据投递(小于该时间范围的数据不会被投递)。说明 度量(metric)不存在时会...

查询管理与分析

时间范围限制:仅展示近30天内的查询数据记录。如果您需要查看所有的查询,可以开启审计日志,详情请参见 开启审计日志。进入查询页面 运行中大查询 进入StarRocks Manager页面。登录 E-MapReduce控制台。在左侧导航栏,选择 EMR ...

DescribeDBClusterSpaceSummary-查看集群的空间概览

查看实例的空间概览信息,包括总数据量、热数据量、冷数据量、数据增长量等。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无...

DescribeDBClusterSpaceSummary-查看集群的空间概览

说明 计算公式为:热数据总量=表记录数据量+普通索引数据量+主键索引数据量+其他 4194304 DataSize long 表记录数据量,单位:Byte。1048576 IndexSize long 普通索引数据量,单位:Byte。1048576 PrimaryKeyIndexSize long 主键索引数据量...

DTS_BINLOG_PARSER

UPDATE和INIT|recordTimestamp timestamp,-记录的时间戳|extraTags string,-记录的属性信息,例如pk,uk等|fields string,-数据表的schema信息|beforeImages string,-本记录生成前的记录数据|afterImages string-本记录生成后的记录数据 ...

X-Engine简介

读操作 LSM处理多版本数据的方式是新版本数据记录会追加在老版本数据后面,从物理上看,一条记录不同的版本可能存放在不同的层,在查询的时候需要找到合适的版本(根据事务隔离级别定义的可见性规则),一般查询都是查找最新的数据,总是由...

OGG插件介绍

pid_before|pid_after|num_before|num_after|+-+-+-+-+-+-+-+-+-+|14810373343020000|I|2016-12-06 15:15:28.000141|NULL|1|NULL|2|NULL|1|修改这条数据,比如把num改为20,datahub则会收到的一条变更数据记录,如下:+-+-+-+-+-+-+-+-+-+|...

DescribeTableStatistics-查询表统计信息

计算公式 1:总数据量=热数据量+冷数据量,计算公式 2:总数据量=表记录数据量+普通索引数据量+主键索引数据量+其他。1577 HotDataSize long 热数据量,单位:Byte。1048576 OtherSize long 其他,单位:Byte。1048576 示例 正常返回示例 ...

建立性能基准

测试项 测试值 数据同步时间 无 占用存储大小 无 查询执行时间 无 查询费用预估 无 记录数据同步时间 在您执行数据同步任务后,可以在 运维中心>周期实例 页面右键查看用户任务运行时间,如下图所示。记录占用存储大小 登录 DataWorks控制...

建立性能基准

测试项 测试值 数据同步时间 无 占用存储大小 无 查询执行时间 无 查询费用预估 无 记录数据同步时间 在您执行数据同步任务后,可以在 运维中心>周期实例 页面右键查看用户任务运行时间,如下图所示。记录占用存储大小 登录 DataWorks控制...

MaxCompute表数据

包括数据检索、数据预览、查看元数据详情、查看数据血缘关系、分类分组管理数据表等操作。本文为您介绍如何在数据地图查看和管理MaxCompute表。前提条件 已绑定MaxCompute引擎至当前工作空间,绑定后DataWorks会面向引擎自动采集元数据,...

文档更新动态(2023年)

新增说明 新建数据探查任务 查看数据探查报告及探查记录 数据标准-数据标准/平台管理 标准集用于定义标准的管理属性(如查看权限、审批模板),以便对数据标准进行更精准的管控。标准模板用于定义创建数据标准时需要填写的属性信息,以便对...

功能更新动态(2023年)

创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦(DM)数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...

实验介绍

对象存储OSS 本案例中用于存储网站访问记录数据,案例已默认提供该OSS数据源基本信息,您无需单独开通该服务。涉及模块 本案例使用以下DataWorks模块共同完成。步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块,将存储在...

X-Engine最佳实践

淘宝和天猫交易订单信息库 淘宝和天猫存储用户交易数据数据库,需要保存用户所有的历史交易记录以供查询,当前交易记录数据库集群现状如下:数据条目超过万亿级,磁盘容量达到PB级。在大促时面临极大的写入压力。虽然可以通过水平拆库,...

快速体验

对象存储OSS 本案例中用于存储网站访问记录数据,案例已默认提供该OSS数据源基本信息,您无需单独开通该服务。涉及模块 本案例使用以下DataWorks模块共同完成。步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块,将存储在...

概述

日志备份:也叫增量备份,备份了记录数据变更的Binlog日志。开启日志备份后,基于“数据备份+日志备份”,您可以恢复时间范围内任意时间点(精确至秒)的数据。例如,实例中创建了2021年01月01日00:00:01的数据备份集以及该时间之后的日志...

使用ETL分析实时订单

说明 时态表,也称动态表,是指基于表的(参数化)视图概念,根据时间记录数据变更历史,分为版本表(可显示数据的历史版本)和普通表(仅显示数据的最新版本)。时态JOIN要求流表定义时间属性,右表要有主键;如右表是维表,则您所设置的 ...

DataStudio侧实时同步任务配置

完成数据源、网络、资源的准备配置后,您可创建实时同步节点,将多种输入及输出数据源搭配组成同步链路,进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务,并在创建完成后查看任务运行情况。前提...

MySQL实例间的双向同步

警告 选择为 忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:表结构一致的情况下,如在目标库遇到与源库主键或唯一键的值相同的记录:全量期间,DTS会保留目标集群中的该条记录,即源库中的该条记录不会同步至目标数据库...

MySQL实例间的双向同步

警告 选择为 忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:表结构一致的情况下,如在目标库遇到与源库主键或唯一键的值相同的记录:全量期间,DTS会保留目标集群中的该条记录,即源库中的该条记录不会同步至目标数据库...

RDS PostgreSQL间的双向同步

数据传输服务DTS(Data Transmission Service)支持两个PostgreSQL数据库之间(比如RDS PostgreSQL、自建PostgreSQL)的双向数据实时同步,RDS PostgreSQL 实例间的双向同步,适用于异地多活(单元化)、数据异地容灾等多种应用场景。...

RDS MySQL与PolarDB MySQL版间的双向同步

警告 选择为 忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:表结构一致的情况下,如在目标库遇到与源库主键或唯一键的值相同的记录:全量期间,DTS会保留目标集群中的该条记录,即源库中的该条记录不会同步至目标数据库...

ApsaraDB For OceanBase数据

准备工作1:配置白名单 将独享数据资源组所在的VPC网段添加至OceanBase的白名单中,操作如下:查看并记录独享数据资源组所在的VPC网络。登录 DataWorks控制台。在左侧导航栏,单击 资源组列表。在 独享资源组 页签下,单击目标数据集成资源...

PolarDB数据

将独享数据资源组所在的VPC网段添加至PolarDB集群白名单中,操作如下:查看并记录独享数据资源组所在的VPC网络。登录 DataWorks控制台。在左侧导航栏,单击 资源组列表。在 独享资源组 页签下,单击目标数据集成资源组后的 查看信息。复制...

查看数据导出记录

您可以查看数据导出的记录,并对数据进行下载或删除。本文主要介绍如何查看数据导出记录。前提条件 已进行数据导出操作,具体操作,请参见 相关操作-导出数据。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标,选择 探索。在...

数据质量教程概述

数据的缺失包括数据记录的缺失(表行数异常)和记录中某字段信息的缺失(字段出现空值)。在本教程中,您需要重点关注数据的生产环节(MaxCompute外部表引用的表格存储数据)和加工环节(数据仓库CDM及ADS层)中表行数是否大于0、表行数...

数据质量教程概述

数据的缺失包括数据记录的缺失(表行数异常)和记录中某字段信息的缺失(字段出现空值)。在本教程中,您需要重点关注数据的生产环节(MaxCompute外部表引用的表格存储数据)和加工环节(数据仓库CDM及ADS层)中表行数是否大于0、表行数...

实时同步字段格式

对于INSERT、UPDATE和DELETE等不同的操作类型,增量数据记录中的_before_image_和_after_image_定义如下:当操作类型为INSERT时,生成的记录为更新后的记录,_before_image_取值为N,_after_image_取值为Y。当操作类型为UPDATE时,数据集成...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库审计 数据库备份 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用