应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
配置ClickHouse输出组件
追加数据即在目标表已有的数据基础上追加数据，且不修改历史数据。批量插入字节大小、批量条数 批量插入字节大小 和 批量条数 均为数据同步的性能参数，用于调试数据同步的速度。批量插入字节大小：数据同步过程中每一次写入数据的字节数据...
01新建模型目录
对话框，输入目录的名称和标识，操作完成后，单击 确认，按照下面表格中数据依次新建一级、二级目录，目录配置如下：一级目录 一级目录code 目录描述 二级目录 二级目录code STG stg 客户数据源数据层-ODS ods 原始数据层 基础数据 ...
配置ClickHouse输出组件
追加数据即在目标表已有的数据基础上追加数据，且不修改历史数据。批量插入字节大小、批量条数 批量插入字节大小 和 批量条数 均为数据同步的性能参数，用于调试数据同步的速度。批量插入字节大小：数据同步过程中每一次写入数据的字节数据...
配置OpenGauss输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。copy 用于表与文件之间的相互复制。并且在遇到冲突时会根据 冲突解决策略 进行 冲突时报错 或 冲突时覆盖。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段...
配置OpenGauss输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。copy 用于表与文件之间的相互复制。并且在遇到冲突时会根据 冲突解决策略 进行 冲突时报错 或 冲突时覆盖。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段...
配置TiDB输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项，可选择输出数据前后的语句准备。是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表...
配置TiDB输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项，可选择输出数据前后的语句准备。是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表...
配置AnalyticDB for MySQL 3.0输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项。数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前...
配置MySQL输出组件
加载策略 包括：追加数据（insert into)：即在目标表的已有的数据基础上追加数据，且不修改历史数据；当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会先删除整行主键重复的旧数据，再插入...
配置MySQL输出组件
加载策略 包括：追加数据（insert into)：即在目标表的已有的数据基础上追加数据，且不修改历史数据；当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会先删除整行主键重复的旧数据，再插入...
配置MaxCompute输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。（可选参数）分区 如果选择了分区表，则需要选择数据表的分区。默认的分区为 ds=${bizdate}。输入字段 根据上游组件的输出，为您展示输入字段。输出字段 输出字段区域...
配置MaxCompute输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。（可选参数）分区 如果选择了分区表，则需要选择数据表的分区。默认的分区为 ds=${bizdate}。输入字段 根据上游组件的输出，为您展示输入字段。输出字段 输出字段区域...
从Oracle迁移应用至阿里云PolarDB全流程指南
数据库画像：数据库评估的基础数据，是为了帮助用户更好的了解自己的源Oracle数据库。目标库选型建议：对现有的数据库画像进行分析，给出迁移到各种目标库的兼容度，为用户提供目标库决策的依据。数据库评估分析：帮助用户评估目标库兼容性...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数仓分层
主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data Model，又称通用数据模型层），包括DIM维度表、DWD和DWS，由ODS层数据加工而成。主要完成数据加工与整合，建立一致性的维度，构建可复用...
数仓分层
主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data Model，又称通用数据模型层），包括DIM维度表、DWD和DWS，由ODS层数据加工而成。主要完成数据加工与整合，建立一致性的维度，构建可复用...
配置ArgoDB输出组件
追加数据：即在目标表的已有的数据基础上追加数据，且不修改历史数据。追加数据策略下，当指主键/约束冲突时，会提示脏数据错误。追加数据策略下不支持合并。压缩格式 非必填项，如果文件有压缩，请选择对应的压缩格式，以便Dataphin进行...
Hive兼容数据类型版本
基础数据类型 Hive兼容数据类型版本支持的基础数据类型与2.0数据类型定义基本一致，只有DECIMAL数据类型在两个版本下有些差异。类型 常量示例 描述 TINYINT 1Y、-127Y 8位有符号整型。取值范围：128~127。SMALLINT 32767S、-100S 16位有...
数据模型架构规范
它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：Common Data Model，公共维度模型层，又细分为DWD和DWS。它的主要作用是完成数据加工与整合、建立一致性的维度、构建可...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
创建数仓分层
用于将不同用途的数据，归类划分至不同的分层，便于您更好地组织、管理、维护数据。本文为您介绍如何创建并管理数仓分层。背景信息 数据仓库是所有数据的集合，包括日志信息、数据库数据、文本数据、外部数据等都集成在数据仓库中。数仓...
配置同步任务
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。Copy模式：AnalyticDB for PostgreSQL提供copy命令，用于表与文件（标准输出，标准输入）之间的相互复制。数据同步支持使用 copy from 将数据加载到表中，并且在遇到...
他云/自建数据库录入
RegisterInstance-录入新的数据库实例 常见问题 Q：已将DMS IP地址添加至Azure SQL数据库白名单，但是在DMS控制台进行新增数据库实例操作时，仍然出现如下图的报错信息，该如何解决？A：请您在配置 新增实例 信息时，在数据库账号一栏中填...
云数据库录入
在控制台首页左侧的 数据库实例 区域，单击新增实例 图标。说明 您也可以在控制台首页的搜索框中，输入 实例管理，在搜索结果中单击实例管理进入对应页面，单击 新增，进行新增实例操作。在 新增实例 页面，录入实例信息。类别 配置项 说明...
云数据库录入
RegisterInstance-录入新的数据库实例 常见问题 Q：在DMS录入阿里云数据库的过程中，提示白名单问题（如下图所示），该如何操作？A：您可单击提示框的 设置白名单，系统将自动尝试在云数据库的白名单中添加DMS的服务器访问地址。若自动添加...
配置备份计划
备份目标信息 备份目标存储类型 备份目标存储类型，支持：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储费用，详情请...
通过上传本地数据新建数据集
上传本地文件的方式导入业务所需的数据集，以便在模型画布中编辑业务模型时使用导入的数据集。本文介绍如何通过上传本地数据新建数据集。前提条件 已创建云计算资源作为存储数据源，具体操作，请参见 新建计算资源。已准备好待上传的数据表...
产品安全能力
数据脱敏 在数据库使用中，需要实时地从生产环境中的数据库（即生产库）获取最新的客户数据来进行报表生成、数据分析、开发测试等。但为了不泄露真实的客户个人信息（Personal Identifiable Information），需要将这些数据进行脱敏处理后...
自建数据库异地备份
选择 数据源类型 为待备份的数据库类型，本示例选择 MySQL。选择 备份方式 为 逻辑备份。具体操作，请参见 购买备份计划。配置备份计划 访问 备份计划，然后在上方选择 备份计划 所在的地域，本示例为华北2。找到目标备份计划ID，单击右侧 ...
如何恢复数据到其它数据库实例
说明 部分数据库支持单表或单库恢复粒度，减少恢复的数据量，缩短恢复时间RTO（Recovery Time Objective）。具体支持的恢复粒度，请参见 支持的数据库引擎与功能。在 预检查 对话框中显示 预检查通过 后，单击 立即启动。您可以在左侧的 ...
从零开始完成无锁结构变更
全部：可以搜索并选择所有的数据库（除开启元数据访问控制的数据库）。说明 如果您没有目标数据库的变更权限，请在顶部菜单栏中选择 安全与规范>权限中心>权限工单，单击 权限申请>库权限，在权限申请工单页面申请您需要的权限。变更SQL ...
项目编辑器页面管理
根据您选择的不同类型的数据，可以在地图上自定义绘制不同的数据内容。可供绘制的样式分别为 点、线、面 三种类型。创建面数据合集 在空间地图中，您可以选择一个 绿地、水体、遥感影像-道路、矢量建筑 实体或 面 通用元素数据项，在数据...
项目编辑器页面管理
根据您选择的不同类型的数据，可以在地图上自定义绘制不同的数据内容。可供绘制的样式分别为 点、线、面 三种类型。创建面数据合集 在空间地图中，您可以选择一个 绿地、水体、遥感影像-道路、矢量建筑 实体或 面 通用元素数据项，在数据...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
基础数据类型
AnalyticDB MySQL支持的基础数据类型 类型 数据类型 说明 与MySQL数据类型差异 数值类型 boolean 布尔类型 值只能是 0 或 1，存储字节数1比特位。取值 0 的逻辑意义为假。取值 1 的逻辑意义为真。一致。tinyint 微整数类型 取值范围-128~...
基础数据类型
为了更好地处理数据，在创建表前，您需要了解Lindorm SQL支持的基础数据类型及相关使用限制。适用引擎 基础数据类型适用于宽表引擎和时序引擎。基础数据类型 数据类型 宽表引擎 时序引擎 对应的Java类型 描述 BOOLEAN 〇 〇 java.lang....
自建Oracle间迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
从自建Redis迁移至阿里云Redis
对于List列表，由于DTS在调用 psync 或 sync 传输数据时，不会对目标端已有的数据执行 Flush 操作，所以可能出现重复的数据。迁移期间，如自建Redis发生扩缩容（如增加或者减少分片）、规格变配（如扩大内存），则您需重新配置任务。且为...
- 产品推荐
- 这些文档可能帮助您