监控任务性能
功能 说明 全量同步链路拓扑 全量同步链路主要展示源库到DTS、DTS到目标库两部分的读写情况和网络信息，相关参数解释如下：源库到DTS的链路 BPS：DTS每秒从源库读取数据量，单位为MB/s。RPS：DTS每秒从源库读取的行数。网络延迟：DTS与源库...
备份集查询功能概览
数据库备份服务DBS提供了云上备份数据查询功能，您只需要简单的SQL语句，即可查询到您的备份数据，且备份数据不会被修改，该功能只针对查询所涉及的数据量收费，成本低。同时，DBS还提供查询多个备份集的功能，您可以更好地分析历史备份...
Oracle同步至Tablestore
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算...包括查询时间段内的数据导出的总量、每天导出的数据量和数据导出总量的前五名。
使用场景
实时数据处理 DMS任务编排可以设置定时任务，实现对实时数据的处理和分析。业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
全增量同步任务运维
同步数据量：显示当前同步任务中的已同步数据量，包含已运行成功任务同步的数据量及运行中任务已同步的数据量。同步记录数：显示当前同步任务中的已同步数据的条数记录。说明 离线同步子任务 的统计情况每小时更新一次。实时同步子任务 ...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
节点类型说明
本文按照节点离线、在线和流式的分类，分别介绍各节点类型对应能处理的数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
恢复全量数据
影响速度的主要因素如下：全量备份数据大小：数据量越大恢复速度越慢。增量备份数据大小：数据量越大恢复速度越慢。是否存在大事务：Binlog中存在大事务会拖慢恢复速度。是否存在热点更新：Binlog中存在热点更新会拖慢恢复速度。是否存在外...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
Oracle永久增量备份
通过增量合成备份达到完整全量备份的效果，同时有如下优势：降低备份成本：减少备份的数据量、存储的数据量、备份数据传输的网络带宽。降低资源开销：相比完整全量备份，增量合成备份只需要更少的源库磁盘IOPS。支持挂载：通过挂载可实现秒...
数据归档至专属存储
注意事项 已归档数据文件合并后，会额外增加存储量（已归档数据量的0.5~1倍）。文件合并过程中，不影响归档数据查询操作。操作步骤 进入 数据归档工单列表 页面，视图 选择 工单视图。选择目标工单，单击 操作 列下的 详情。进入 数据归档...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
如何支持超大事务
具体表现为，在需要处理的数据量呈倍数增长时，事务执行不报错，且执行时间也呈线性增长。总结 无论是否开启事务，每条SQL语句自身携带的数据量受CN的参数 MAX_ALLOWED_PACKET 的限制，不能超过该值。对于每个事务，在每个分片上执行的语句...
功能特性
RDS MySQL高频备份 MongoDB高频备份 极速库表恢复 指定部分库表的快速恢复，在相同的数据量下，极速库表恢复相较常规库表恢复提升了约50%~95%的恢复速度。RDS MySQL极速库表恢复 RDS PostgreSQL极速库表恢复 存储能力 热温冷备份集分级转储...
PostgreSQL逻辑备份
备份目标信息 备份目标存储类型 存放备份数据的存储类型，支持的选项：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储...
概述
加解密过程 基础版Spark全密态计算引擎密钥处理机制 数据加密 在数据加密过程中，基础版Spark全密态计算引擎会从应用配置中获取用户主密钥（MEK），并自动为数据集生成随机的数据密钥（DEK）。其中，数据密钥（DEK）会用于加密文件中的数据...
自建数据库异地备份
备份目标信息 备份目标存储类型 备份目标存储类型，支持：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储费用，详情请...
从备库备份MongoDB数据库
备份目标信息 备份目标存储类型 备份目标存储类型，支持：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储费用，详情请...
Redis备份上云
DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储费用，详情请参见 使用存储包。存储方式 请选择存储方式为 内置加密...
Oracle逻辑备份
备份目标信息 备份目标存储类型 备份目标存储类型，支持：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储费用，详情请...
构建全量数据索引
对于宽表中的全量数据，需要手动执行全量构建索引才可以完成数据同步。本文介绍通过构建索引完成全量数据同步。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已通过开源客户端访问搜索索引并完成宽表和索引表的列映射配置文件，...
Redis逻辑备份
备份目标信息 备份目标存储类型 存放备份数据的存储类型，支持的选项：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储...
表设计规范
单个分区中数据量较大的情况下，MaxCompute执行任务时会进行分片处理而不影响分区裁剪的优势。单个分区中文件数较多时，会影响MaxCompute Instance数量，造成资源浪费和SQL性能的下降。采用多级分区时，建议先按日期分区，然后按交易类型...
通过公网地址实现数据库跨账号备份
备份目标信息 备份目标存储类型 备份目标存储类型，支持：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储费用，详情请...
装饰条
导入数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。更新组件配置 动态更新组件的样式配置。需要先在组件的 配置 ...
数据防泄漏典型案例
常见数据泄露原因 在获得用户授权后，异常告警功能可检测以下类型的问题：内部数据泄漏 笔记本电脑和移动设备的丢失或失窃 敏感数据越权访问和存储 在职员工、待离职员工、合作伙伴、外包人员盗窃数据 员工外发、打印和复制敏感数据 意外...
挂载数据盘
如果在创建轻量应用服务器时未挂载数据盘，则服务器创建完成后，您也可以挂载数据盘。本文主要介绍如何在已创建的服务器中挂载数据盘。使用前须知 挂载数据盘前，您需要了解以下事项：一台轻量应用服务器实例只能挂载一块数据盘，如果创建...
技术发展趋势
而Fast Data在数据量的基础上，意味着速度和变化，客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示，随着全球连接的增多，更多数据将产生，其中实时数据所占比例将增加；到2025年，全球近30％的数据将是实时的...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
算子级别诊断结果
过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据量的比值（即...
列存索引如何实现高效数据过滤
为了尽量减少全表扫描的问题，SQL Server主要通过Min-Max、分区以及聚簇索引来降低扫描数据量；Oracle是全内存的列索引，其主要通过Min-Max以及 metadata dictionary 来减少全表扫描。PolarDB IMCI属于列存表的模式，数据支持落盘，实现了...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
功能概览
1.4 生态融合 系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据...
- 产品推荐
- 这些文档可能帮助您