查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
公共规范
将出现大量空值和零值的统计汇总表，依据其空值和零值分布状况可以做适当的水平和垂直切分，以减少存储和下游的扫描数据量。空值处理原则 汇总类指标的空值：空值处理，填充为零，当前MaxCompute基于列存储的压缩技术不会由于填充大量空值...
DMS
使用DMS连接 云原生数据仓库AnalyticDB PostgreSQL版 数据库可以使得开发人员更专注于应用程序开发和业务需求，而无需过多关注底层数据库的管理和维护。功能简介 数据管理（Data Management Service，简称DMS）支持MySQL、SQL Server、...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
什么是数据库网关
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
数据归档至DBS内置OSS
本文介绍如何将大表数据归档至DBS内置OSS中。前提条件 支持如下类型的源数据库：MySQL类型：RDS MySQL、PolarDB MySQL版。PolarDB PostgreSQL版。PolarDB分布式版。说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。您的系统角色需要...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
数据接口配置说明
在区块编辑器内，您可以单击区块编辑器右上角的 图标，在 数据接口设置 页签中支持如下数据接口配置操作。切换模式 在对话框上方可以切换数据接口模式，可选 视图模式 和 代码模式。模式 说明 视图模式 在视图模式下，直观查看示例数据接口...
创建MaxCompute数据源
通过创建MaxCompute数据源能够实现Dataphin读取MaxCompute的业务数据或向MaxCompute写入数据。本文为您介绍如何创建MaxCompute数据源。背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service...
数据接口配置说明
单击选中画布中的区块，在右侧配置面板中选择 数据 页签，即可查看该区块的数据接口中的所有配置信息，您可以参见 配置组件数据 和 设置组件数据源，修改区块的数据内容。实时预览数据接口配置 在 数据接口设置 页签中，对话框左侧是用于...
创建MaxCompute数据源
通过创建MaxCompute数据源能够实现Dataphin读取MaxCompute的业务数据或向MaxCompute写入数据。本文为您介绍如何创建MaxCompute数据源。背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service...
区域热力层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据模型架构规范
数据处理流程架构 数据划分及命名空间约定 请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。按业务划分：命名时按主要的业务...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
添加HBase数据源
添加HBase数据源可以对HBase数据进行迁移或者同步操作，本文介绍如何添加HBase数据源。HBase数据源类型和添加方式 HBase数据源类型 添加HBase数据源的方式 云数据库HBase标准版 如果云数据库HBase标准版或者云数据库HBase增强版与LTS使用...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
概览
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
应用场景
数据脱敏 支持通过灵活多样的内置或自定义脱敏算法，支持生产类敏感数据脱敏到开发测试等非生产环境使用的静态脱敏场景，同时也支持原始数据不做调整，返回数据动态脱敏的场景，并确保脱敏后的数据保真可用。数据审计 智能解析数据库及大...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
概述
从应用视角看，全密态数据库可以解决不同应用场景下的数据安全问题，几种典型场景如下：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。例如，业务将应用数据库...
数据源权限管理
哪些角色可以管理数据源的权限？是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的...
SQL查询
如果需要快速地对数据进行查询与分析，您可以使用SQL语句查询MaxCompute、EMR Hive、Hologres等数据源。本文为您介绍如何通过SQL语句查询数据源。支持查询的数据源 SQL查询支持的数据源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL...
数据归档至RDS MySQL
后置行为 否 若您选中 清理原表已归档数据（delete-无锁），则在归档完成后，系统将自动执行归档后的源表数据删除操作，可以通过无锁数据变更的 DELETE 语句完成。但删除源表的同时，源库中会生成存储此次归档数据的备份临时表，请保证源库...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
数据迁移、同步和恢复区别
数据迁移、同步和恢复的区别如下：数据迁移和恢复的区别 数据迁移和恢复都可以将数据复制到新实例，但是它们之间还有一定的区别：数据迁移主要用于上云迁移，通过数据传输服务DTS将本地数据库、ECS上的自建数据库或第三方云数据库迁移至...
数据迁移、同步和恢复区别
数据迁移、同步和恢复的区别如下：数据迁移和恢复的区别 数据迁移和恢复都可以将数据复制到新实例，但是它们之间还有一定的区别：数据迁移主要用于上云迁移，通过数据传输服务DTS将本地数据库、ECS上的自建数据库或第三方云数据库迁移至...
- 产品推荐
- 这些文档可能帮助您