通用资源
通用资源为用户提供了自定义函数、函数资源、数据基础库的能力，帮助用户在数据开发等过程中灵活调用各类自定义函数和基础数据。自定义函数 通过自定义函数功能，用户可以自定义ETL（Extract-Transform-Load）函数并管理，自定义函数与公共...
名词解释
资源 资源在云迁移中心（CMH）中特指您待迁移的IDC物理服务器、虚拟化后服务器、其他云厂商的云产品基础设施。迁移组 迁移组在云迁移中心（CMH）特指具备一定业务属性的一组资源，它们在真实的业务系统中可以是一个应用，可以是一组应用，...
数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 ...
应用场景
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
应用场景
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
Terraform概述
允许保存基础设施状态，从而使您能够跟踪对系统（基础设施即代码）中不同组件所做的更改，并与其他人共享这些配置。降低开发成本 您通过按需创建开发和部署环境来降低成本。并且，您可以在系统更改之前进行评估。应用场景 Terraform的应用...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
什么是数据库网关
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台。数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
什么是数据库网关
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台。数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
通过操作审计查询行为事件日志
DIRunStreamxJob 运维中心数据集成启动实时任务 DIBatchRunStreamxJob 运维中心数据集成批量启动实时任务 DIStopStreamxJob 运维中心数据集成停止实时任务 DIBatchStopStreamxJob 运维中心数据集成批量停止实时任务 DIOfflineStreamxJob 运...
什么是EMR Serverless Spark
您无需构建复杂的基础设施即可开始作业开发之旅。高性能 基于Fusion Engine(Spark Native Engine)，性能体验最高可达开源Spark的2倍。高扩展性 基于阿里云Serverless底座，提供资源弹性能力，满足ETL作业突发高峰的同时，进一步降低实际...
创建Impala数据源
参数 说明 Endpoint 可选，填写集群在DLF数据中心所在地域的Endpoint，若未填写则使用hive-site.xml中的配置项。Endpoint如何获取，请参见 DLF Region和Endpoint对照表。AccessKey ID、AccessKey Secret 填写集群所在账号的AccessKey ID和...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
支持识别的行业模板
数据安全中心的识别规则模板是根据不同行业规范、针对性定制的敏感数据分类分级。通过识别规则模板可以使敏感数据自动符合合规要求。本文介绍数据安全中心提供的内置识别模板。数据安全中心支持识别的模板类型按照不同行业规范，可以按以下...
配置OpenGauss输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。copy 用于表与文件之间的相互复制。并且在遇到冲突时会根据 冲突解决策略 进行 冲突时报错 或 冲突时覆盖。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段...
配置OpenGauss输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。copy 用于表与文件之间的相互复制。并且在遇到冲突时会根据 冲突解决策略 进行 冲突时报错 或 冲突时覆盖。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段...
配置TiDB输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项，可选择输出数据前后的语句准备。是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表...
配置TiDB输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项，可选择输出数据前后的语句准备。是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
东软案例
解决方案 东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点，将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据，应用...
前言
数据库是企业最重要的基础技术软件，随着云计算的快速崛起以及对传统IT基础设施带来的革新，云数据库也面临着新的机遇和挑战。经过阿里巴巴集团多年双十一技术的积累与云原生环境的创新结合，2017年9月，阿里云正式对外发布了自主研发的云...
配置ClickHouse输出组件
追加数据即在目标表已有的数据基础上追加数据，且不修改历史数据。批量插入字节大小、批量条数 批量插入字节大小 和 批量条数 均为数据同步的性能参数，用于调试数据同步的速度。批量插入字节大小：数据同步过程中每一次写入数据的字节数据...
配置MaxCompute输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。（可选参数）分区 如果选择了分区表，则需要选择数据表的分区。默认的分区为 ds=${bizdate}。输入字段 根据上游组件的输出，为您展示输入字段。输出字段 输出字段区域...
配置MySQL输出组件
加载策略 包括：追加数据（insert into)：即在目标表的已有的数据基础上追加数据，且不修改历史数据；当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会先删除整行主键重复的旧数据，再插入...
配置MySQL输出组件
加载策略 包括：追加数据（insert into)：即在目标表的已有的数据基础上追加数据，且不修改历史数据；当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会先删除整行主键重复的旧数据，再插入...
配置ClickHouse输出组件
追加数据即在目标表已有的数据基础上追加数据，且不修改历史数据。批量插入字节大小、批量条数 批量插入字节大小 和 批量条数 均为数据同步的性能参数，用于调试数据同步的速度。批量插入字节大小：数据同步过程中每一次写入数据的字节数据...
通过函数计算节点实现GitHub实时数据分析与结果发送
其他地域Endpoint请参见 访问域名和数据中心。Bucket 输入OSS Bucket。如果没有可用的Bucket，请 创建Bucket。访问模式 RAM角色授权模式 Access Key模式 选择角色 当访问模式为 RAM角色授权模式，选择RAM角色，详情请参见 通过RAM角色授权...
数据治理
参数 reg_mobile_phone user_regip 敏感字段类型 retail_e_commerce_2_手机 retail_e_commerce_2_ip 所属分类 基础数据 基础数据 所属分级 敏感 敏感 描述信息-识别规则命中条件 满足以下任一条件即命中规则 满足以下任一条件即命中规则 ...
基础设施大盘
基础设施大盘是对 Antstack 基础设施进行监控的一系列定制大盘。数据来源为 Ant cloud agent 采集上报的指标。说明：目前所有的指标以及大盘都为系统默认定制，不支持用户自定义。该功能仅在专有云环境中支持，若您属于公有云环境请忽略该...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
快速入门
城市三维场景构建器组件提升了组件的易用性、渲染视效、支持更多精准时空数据、扩大城市基础数据资产库，真正降低“数字孪生城市”的构建门槛，使得“数字孪生城市”成为一项技术普惠。本文为您演示如何在DataV产品内使用城市三维场景构建...
基础数据类型
为了更好地处理数据，在创建表前，您需要了解Lindorm SQL支持的基础数据类型及相关使用限制。适用引擎 基础数据类型适用于宽表引擎和时序引擎。基础数据类型 数据类型 宽表引擎 时序引擎 对应的Java类型 描述 BOOLEAN 〇 〇 java.lang....
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
- 产品推荐
- 这些文档可能帮助您