创建Hudi数据

背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。更多信息,请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...

典型场景

大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据,可通过采用数据集成服务(DataX)或通过对象存储服务(OSS),快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版,帮助您实现高性能分析处理和在线数据探索。数据湖...

应用场景

阿里云开源大数据平台E-MapReduce(简称EMR)具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式,包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...

数据源白名单配置

产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X(2.0)设置白...

数据源白名单配置

产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X(2.0)设置白...

数据导入方式介绍

为满足多样化的数据导入需求,云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式,包括:通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景,帮助您选择正确的数据导入...

创建Impala数据

通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala,在导出Dataphin数据至...

阶段一:基础防护建设

在该阶段,DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践,帮助企业做好数据安全治理的相关基础防护工作。场景一:数据分级分类 无论在任何行业,数据分级分类都是监管首要检查的...

查看敏感数据识别结果

仅支持在 结构化数据、半结构化数据、非结构化数据大数据 分类下分别选择一个或多个数据类型,不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型,数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板:在 ...

什么是EMR on ACK

EMR on ACK优势 优势 描述 节省成本 您无需为大数据服务单独购买ACK集群,通过简单的配置即可在已有的ACK集群上执行大数据作业,成本低廉。复用现有ACK集群的空闲资源,一键执行EMR Spark和Presto等任务,轻松上手。大数据和在线应用程序...

功能特性

计算 MaxCompute向用户提供了多种...数据公网下载 数据传输独享资源 数据传输服务(包年包月)资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组,保障了数据传输资源的独享性,并提高了数据传输的稳定性。数据传输独享资源

数据变更最佳实践

批量和实时导入数据 批量导入:适用于大数据量导入的场景,导入过程中可以查询旧数据,导入操作完成后一键切换新数据。导入失败时,支持回滚新数据,不影响查询旧数据。例如,从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时,推荐...

外部表概述

但这两种方法都有不足之处:第一种方法需要在MaxCompute系统外部做一次中转,如果OSS数据量太,还需要考虑如何并发来加速,无法充分利用MaxCompute的规模计算能力。第二种方法通常需要申请UDF网络访问权限,还需要开发者自己控制作业...

数据分析概述

DataWorks提供的数据分析平台,可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中,您不仅可以在线洞察数据,还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...

Power BI连接

Power BI是一个统一、可扩展的自助服务和企业商业智能(BI)平台。您可以通过Power BI轻松地连接到数据源,对数据进行建模和可视化分析,创建个性化的报表。本文介绍如何通过Power BI连接AnalyticDB PostgreSQL版。前提条件 下载并安装...

数据集成

数据源支持情况 数据集成目前支持40种以上的数据源类型(包括关系型数据库、非结构化存储、大数据存储、消息队列等),通过定义来源与去向数据源,并使用数据集成提供的数据抽取插件(Reader)、数据写入插件(Writer),实现任意结构化、...

创建Impala数据

通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala,在导出Dataphin数据至...

使用DataWorks连接

DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定计算引擎后,您即可在DataWorks上创建对应引擎...

配置订阅任务(旧控制台)

数据传输服务DTS(Data Transmission Service)提供的数据订阅功能简单易用,您只需在控制台上进行简单操作,即可完成整个数据订阅任务的配置。通过数据订阅功能可以实时订阅增量数据,轻松帮助业务实现轻量级缓存更新、业务异步解耦、含...

新建TDengine数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。配置 集群配置 区域的参数。参数 描述 ...

新建TDengine数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。配置 集群配置 区域的参数。参数 描述 ...

创建Teradata数据

通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出...

产品概述

产品特点 稳定 对于绝部分应用而言,关系型数据库所承担的职责是整个数据管理系统中最为核心和基础的,不光直接影响到终端用户的服务体验,同时也是业务数据的最后一道保险,所以稳定性是数据库最核心的选型因素。PolarDB-X 1.0 的稳定性...

数据上传

DataWorks的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎进行分析处理及相关管理操作,致力于为您提供高效、便捷的数据传输服务,助力您快速实现数据驱动业务。使用限制 目前仅支持基于 本地...

新建Doris数据

数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

Quick BI连接MaxCompute

MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI,对海量数据进行实时在线分析服务,同时支持拖拽式操作和丰富的可视化效果,帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...

创建Teradata数据

通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出...

数据重排

在MaxCompute的使用过程中,如果已经积累了大量数据占用了大量存储资源,且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理,在您的存储预算有限,计算资源还有冗余的情况下,可以考虑使用数据重排方式对存储空间进行优化。...

RDS迁移至MaxCompute实现动态分区

本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区,动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程,本例使用DataWorks简单模式。详情请参见 ...

创建Hologres数据

新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据,及能够向Hologres写入数据。在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中,您需要先创建Hologres数据源。本文为您介绍如何新建Hologres...

数据同步流程

数据传输提供数据同步功能,帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...

需求分析

本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略,现需要从用户网站行为中获取网站用户群体基本画像数据,例如,用户群体地理属性、社会属性等,...

Iceberg概述

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务,并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题,经过多年迭代...

数据迁移流程

数据传输提供数据迁移功能,帮助您实现同构或异构数据源之间的数据迁移。适用于数据库升级、跨实例数据迁移、数据库拆分、扩容等业务场景。您可以参考以下流程进行迁移前的准备工作、以及购买、配置和管理数据迁移项目。完成准备工作。数据...

Transaction Table2.0概述

支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中,由后台数据管理服务自动优化编排数据存储结构,使用统一的计算引擎支持近实时增量处理链路和规模离线批量处理链路,而且由统一的元数据服务支持...

图扑案例

客户感言 阿里 云原生多模数据库 Lindorm 针对工业物联网数据高并发写入,实时存取等特点,创新性地融合时序、索引、宽表等多模引擎能力,为存储、分析低价值密度、高通量、高实时性的工业物联网监控数据提供了高性价比的最优解决方案,...

功能优势

当您的数据库中有数据需要被保护时,可以使用RDS MySQL全密态数据库功能,该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全,使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势,帮助您...

企业版和标准版功能对比

支持 支持 全密态 PolarDB MySQL版 提供全密态数据库功能,数据在用户侧加密后传入数据库管理系统,数据明文对于数据服务端不可见,实现了端到端的全程加密的数据强安全性。支持 支持 连接管理 连接池 PolarDB 支持会话级连接池和事务级...

容量中心

容量中心可以反映集群、租户、数据库、表、索引的资源使用情况及使用趋势,告知客户是否存在容量风险,便于客户及时进行扩容等操作。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏中,单击 自治服务。在 实例详情 区域,单击需要查看...

内置时空数据引擎Ganos

相比传统需要跨库信息提取再汇总,在性能及程序开发效率上都有幅度的提高,为用户应对5G、卫星遥感、行业时空大数据、智慧城市建设等提供云化和多结构、多模式的信息服务支撑。PolarDB PostgreSQL版(兼容Oracle)Ganos当前版本提供了...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 数据库备份 云原生大数据计算服务 MaxCompute 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用