数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
S3M BIM
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了数据图元图层数据内容。在场景编辑器内配置数据面板时，您还可以使用 空间构建数据源 获取空间地图数据，具体步骤如下：在图层配置面板中选择 数据 页签，...
S3M管网
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了数据图元图层数据内容。在场景编辑器内配置数据面板时，您还可以使用 空间构建数据源 获取空间地图数据，具体步骤如下：在图层配置面板中选择 数据 页签，...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
S3M倾斜摄影
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了数据图元图层数据内容。在场景编辑器内配置数据面板时，您还可以使用 空间构建数据源 获取空间地图数据，具体步骤如下：在图层配置面板中选择 数据 页签，...
典型场景
典型场景 数据仓库服务 您可以通过数据传输服务（DTS）或数据集成服务（DataX），将云数据库（例如RDS、PolarDB）或自建数据库批量同步到 云原生数据仓库AnalyticDB PostgreSQL版。云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
动态轨迹层
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了数据图元图层数据内容。在场景编辑器内配置数据面板时，您还可以使用 空间构建数据源 获取空间地图数据，具体步骤如下：在图层配置面板中选择 数据 页签，...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
ArcGIS栅格瓦片
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了ArcGIS栅格瓦片数据内容。在场景编辑器内配置ArcGIS栅格瓦片的数据面板时，您还可以使用 空间构建数据源 获取空间地图上ArcGIS栅格瓦片数据，具体步骤如下：...
超图REST栅格瓦片
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了超图REST栅格瓦片数据内容。在场景编辑器内配置超图REST栅格瓦片的数据面板时，您还可以使用 空间构建数据源 获取空间地图上超图REST栅格瓦片数据，具体步骤...
路况层
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了数据图元图层数据内容。在场景编辑器内配置数据面板时，您还可以使用 空间构建数据源 获取空间地图数据，具体步骤如下：在图层配置面板中选择 数据 页签，...
S3M BIM
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了S3M BIM数据内容。在场景编辑器内配置S3M BIM的数据面板时，您还可以使用 空间构建数据源 获取空间地图上S3M BIM数据，具体步骤如下：在图层配置面板中选择 ...
S3M管网
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了S3M管网数据内容。在场景编辑器内配置S3M管网的数据面板时，您还可以使用 空间构建数据源 获取空间地图上S3M 管网数据，具体步骤如下：在图层配置面板中选择...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
S3M倾斜摄影
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了S3M倾斜摄影数据内容。在场景编辑器内配置S3M倾斜摄影的数据面板时，您还可以使用 空间构建数据源 获取空间地图上S3M倾斜摄影数据，具体步骤如下：在图层...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
DataWorks V3.0
发布版本：DataWorks V3.0 发布时间：2019年12月18日 发布范围：全球所有已开通DataWorks的地域 发布内容：DataWorks V2.0仅支持MaxCompute计算引擎，DataWorks V3.0全新升级了多引擎架构，在MaxCompute的基础上，新增开源大数据引擎E-...
动态轨迹层
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了动态轨迹层数据内容。在场景编辑器内配置动态轨迹层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上动态轨迹层数据，具体步骤如下：在图层配置...
路况层
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了路况层数据内容。在场景编辑器内配置路况层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上路况层数据，具体步骤如下：在图层配置面板中选择 ...
动态轨迹层
如果您在创建三维城市构建器项目时，使用了 空间数据项目 模式，并且项目内包含了动态轨迹层数据内容。在场景编辑器内配置动态轨迹层的数据面板时，您还可以使用 空间构建数据源 获取空间地图上动态轨迹层数据，具体步骤如下：在图层配置...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
外部表概述
但这两种方法都有不足之处：第一种方法需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute的大规模计算能力。第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
什么是备份数据量
本文介绍 数据库备份DBS 中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
- 产品推荐
- 这些文档可能帮助您