文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
手动修正数据
本文将为您介绍如何在手动修正数据页面，对规则识别不准确的数据进行手动修正。说明 手动修正的数据结果，在第2天才会生效展示。背景信息 DataWorks支持您对数据识别规则识别不准确的敏感数据进行手动修正，手动修正数据的使用逻辑如下图所...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
配置任务时测试连接失败的排查及解决方法
概述 配置数据迁移任务时，可以进行数据库连接测试，很多时候会遇到测试连接失败。本文根据不同的实例类型介绍可能失败的原因及对应的解决方案。详细信息 当连接性预检查失败时，可能是由于如下原因：诊断内容 可能原因 解决方法 JDBC 数据...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
系统配置
您可在数据保护伞的系统配置页面，设置数据保护伞的识别内容、识别范围，水印文件保存时间，是否展示风险识别的数据安全等级，以及告警信息的接收邮件及WebHook地址，以便及时发现并处理潜在安全风险。进入系统配置页面 进入数据开发页面。...
简介
空间/时空数据（Spatial/Spatio-temproal Data，以下统称时空数据）是带有时间/空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、...
简介
空间/时空数据（Spatial/Spatio-temproal Data，以下统称时空数据）是带有时间/空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、...
简介
空间/时空数据（Spatial/Spatio-temporal Data，统称时空数据）是带有时间/空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。概述 ApsaraDB PostgreSQL Ganos时空引擎（简称Ganos）提供一系列的数据类型...
简介
空间/时空数据（Spatial/Spatio-temporal Data，以下统称时空数据）是带有时间或空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。说明 AnalyticDB PostgreSQL版Serverless模式 暂不支持Ganos功能。申明 ...
数据库监控
活跃线程 thread PolarDB-X 1.0 实例中目标数据库用来执行SQL的线程数。说明 上述各监控项的数据采集周期均为1分钟。最多支持查看7天内的监控数据。操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 ...
创建同步任务
说明 创建数据源，数据源可以用来作为数据同步的来源或者去向，LTS支持的数据源请参见“数据源管理”。创建HBase数据迁移任务，详情请参见 HBase不停机迁移。创建数据导入任务，详情请参见 HBase数据导入。创建数据导出任务，详情请参见 ...
时空分析
空间/时空数据（Spatial/Spatio-temporal Data，以下统称时空数据）是带有时间/空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。早期业内按矢量/栅格二元分类方法来划分时空数据，并在3S等传统行业默默...
高压缩引擎（X-Engine）介绍
历史数据归档的诉求 为了解决历史数据的读取和更新问题，可以使用一个单独的数据库用来存储归档的数据，即高压缩引擎（X-Engine）。业务对单独的高压缩引擎（X-Engine）一般有如下诉求：具备大容量存储空间，支持业务持续将线上数据保存到...
通过样本库识别
DataWorks支持将您提供的样本文件生成样本库，后续可以将样本库配置为数据识别规则用来识别数据。当需要识别的目标数据包含样本库中的数据时，则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据，例如，员工姓名、用户地址...
配置项常见问题
如果您使用了 数字翻牌器 组件，数据正常返回却没有改变组件渲染，则需要检查是否在组件配置项中勾选了 数据抖动修正。如果勾选该配置项：当传入数据小于当前数据时则不改变组件渲染。若您的数据有上下浮动而且需要实时渲染当前数据时，则...
配置项常见问题
如果您使用了 数字翻牌器 组件，数据正常返回却没有改变组件渲染，则需要检查是否在组件配置项中勾选了 数据抖动修正。如果勾选该配置项：当传入数据小于当前数据时则不改变组件渲染。若您的数据有上下浮动而且需要实时渲染当前数据时，则...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
数据标准
【数据标准】模块，主要用来对数据标准进行相关操作。添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
数字翻牌器
数据抖动修正 打开开关，保护翻牌器数据不下跌，只能显示上涨；关闭开关，翻牌器数据跌涨都会显示。开启动画 打开开关，开启翻牌器数字动画。始终动画 打开开关，当传入数据不变时始终开启动画。仅在打开 开启动画 配置项后可以配置。动画...
数字翻牌器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
pg_transform
目录 pg_transform 存储有关转换的信息，转换是一种让数据类型适应过程语言的机制。列名称 列类型 描述 oid oid 行标识符。trftype oid 转换所针对的数据类型的OID。trflang oid 转换所针对的语言的OID。trffromsql regproc 一个函数的OID...
表数据格式
此外还可设定其他一些重要的表属性，比如 write.bucket.num 用来配置数据写入的并发度，acid.data.retain.hours 用来配置历史数据的有效查询时间范围等。更多属性可参见 Transaction Table2.0表参数。Transaction Table2.0数据文件类型 ...
权限策略管理
安全管理对数据库至关重要，OceanBase 有专门的安全管理策略用来保证数据库数据安全和资源安全。OceanBase 数据库的安全管理策略主要包括资源隔离和权限控制：通过资源隔离限制可以访问到的数据，隔离保证资源安全；对于共享数据，通过权限...
RDS空间组成说明
用来存放数据库的REDO LOG和UNDO LOG，以及数据字典，是系统必需的。日志文件空间：这是数据库运行过程中产生的空间；更新事务越多，空间占用就越大。不过RDS已经进行优化，会尽可能快的将日志存储到OSS，以防空间占满而锁定。RDS SQL ...
功能概述
目标数据库：源数据库的克隆数据库，和源数据库拥有同样的表结构和数据，将源数据库捕获的流量回放的数据库。功能介绍 传统的压测方案大部分基于现有的压测工具（如sysbench、TPCC等），给定场景，改变数据写入和读取速度，观测压力变化对...
安全性
网络和数据链路 AnalyticDB PostgreSQL版 做为云原生分布式系统拥有非常高的安全性，首先每个新建实例使用专有网络，也称为VPC（Virtual Private Cloud），VPC是一种隔离的网络环境，安全性和性能均高于传统的经典网络。根据使用场景可选择...
智能压测
面对即将到来的短期业务高峰或数据库结构变更（尤其是索引变更）时，您可以通过智能压测功能，确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库发生故障且无法定位原因时，...
流量回放和压测
面对即将到来的短期业务高峰或数据库结构变更（尤其是索引变更）时，您可以通过流量回访与压测功能，确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库发生故障且无法定位原因...
命令行界面介绍
Influx的命令行界面（CLI），它是一个用来跟数据库进行交互的轻量级工具。有关如何下载使用CLI，可参考文档命令行界面。CLI默认通过端口3242向TSDB For InfluxDB® HTTP API发送请求，直接与TSDB For InfluxDB®通信。说明 也可以向数据库...
快速入门综述
分析型数据库MySQL版（AnalyticDB MySQL版）是一种高并发低延时的PB级实时数据仓库，全面兼容MySQL协议以及SQL 2003语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。前提条件 先注册阿里云账号。如果以按量付费方式...
数据膨胀诊断
消除数据膨胀 随着对表不断进行INSERT、DELETE或UPDATE操作，会积累大量Dead Tuple，占据大部分本可以用来存放数据的空间，使得Page中未使用空间减小，导致更多的Page被分配出来。当Page被扫描时，这些大量的Dead Tuple也会被扫描，从而...
智能压测
SQL模板的执行性能差异可用来应对数据库引擎升级、规格切换等业务场景。不支持政务云和金融云下的数据库实例。说明 PolarDB-X 2.0目前仅支持华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）和新加坡地域。操作步骤 登录 DAS...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华东2（上海）。方案概述 ...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
- 产品推荐
- 这些文档可能帮助您