基于Hadoop集群支持Delta Lake或Hudi存储机制

涉及模块 对应阿里云产品 说明 开源Hadoop 本地机房搭建Hadoop集群 云上虚拟机搭建Hadoop集群 阿里云E-MapReduce 原始数据存储在Hadoop集群中。基于Hadoop集群支持Delta Lake或Hudi湖仓一体架构 前提条件 已创建MaxCompute项目(非External...

搭建与管理(基于Hadoop

通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析,提供了一个既能处理结构化、半结构化数据,又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体,以及管理湖...

MaxCompute+Hadoop搭建实践

本文以E-MapReduce的Hive为例,为您介绍在MaxCompute中如何创建外部项目,并查询Hadoop中的表数据。使用限制 仅华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、中国香港、新加坡和德国(法兰克福)地域...

内置全密态能力

全密态数据库(EncDB)-提供端到端(客户端到数据库服务端)全程加密的高性能数据库服务,兼具传统数据库通用能力与隐私数据安全保护能力;其信任根基于TEE可信执行环境与数字密码学技术,用户像操作普通数据库一样简洁易用,且仅用户自身...

搭建Hadoop环境

背景信息 Apache Hadoop软件是一个框架,它允许通过简单的编程模型在由多台计算机组成的集群上对大规模数据集进行分布式处理。该框架设计能够从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储能力。Hadoop并不依赖硬件来实现...

开启备份锁定

云备份 为通用备份提供备份锁定WORM(一次写入、多次读取,write-once,read-many)功能。本文介绍开启通用备份的备份锁定功能的操作方法。简介 开启该功能,对应备份只能一次写入、多次读取,即WORM(write-once,read-many)。为您...

数据报表

通用数据审计应用提供审计运营中心、审计安全中心和审计性能中心仪表盘,从不同维度展示数据审计相关的指标。前提条件 已配置通用数据审计。具体操作,请参见 配置通用数据审计。功能入口 登录 日志服务控制台。在 日志应用 区域的...

RDS SQL Server中无法直接删除数据库的处理方法

问题描述 在RDS SQL Server实例中删除数据时,会出现以下场景的报错:如果数据没有会话,对于RDS SQL Server 2008、2012和2016版,是用镜像做的主备同步,直接使用 drop database SQL语句删除数据会存在以下报错。The database 'XX' ...

使用前须知

日志服务通用数据审计应用支持通过抓包方式将数据的操作记录和操作行为上传到日志服务。您可以基于日志服务的存储、查询分析、可视化和告警等一站式功能,完成对数据的审计。本文介绍通用数据审计应用的使用场景、资产、费用等信息...

存储类型

通用备份一样,备份数据在达到保留时间后会被自动删除。若不转为收费计划,备份会在“免费30天”过期之后再保留30天,若30天内仍未转为付费使用就删除备份。NAS备份(30天免费)用于存放在30天免费试用期的阿里云NAS备份的备份...

配置通用数据库审计

通用数据库审计应用会根据您所选择的数据库提供配置信息。后续配置 packetbeat.yml 文件时,需使用该信息。登录用于安装Packetbeat的服务器。下载并安装Packetbeat。具体操作,请参见 Packetbeat。进入Packetbeat安装包所在路径,然后编辑 ...

管理内置数据集

删除库中的所有表。表删除以后,再通过SQL语句 DROP DATABASE ADB_SampleData_TPCH;删除内置数据集的库。删除内置数据集时,ADB_SampleData_TPCH数据库和脚本都会被删除。常见问题 Q:加载内置数据集集群需要满足什么条件?A:至少购买24 ...

您可以删除数据库前需要先删除库中的所有表,此时使用 drop table 语句删除很麻烦,建议您使用新版DMS进行批量删除。登录 数据管理DMS 5.0,选择已登录实例,单击实例名,右键单击库名,选择单库查询。右键单击任意表名,然后选择批量操作...

删除通用模型

说明 如果待删除通用模型下存在通用模型版本,您需要先删除所有的通用模型版本,然后再删除对应的通用模型。操作步骤 登录 蚂蚁隐私计算服务平台。在左侧导航栏,选择 我的资源>通用模型。在 通用模型 页面,找到目标模型名称,单击操作...

DBeaver

背景信息 DBeaver是一款免费、开源(GPL)的专门为开发人员和数据管理员提供的通用数据工具。DBeaver支持MySQL、PostgreSQL、Oracle、DB2、MSSQL、Sybase以及其他兼容JDBC的数据。您可以通过DBeaver的图形界面查看数据结构、执行...

管理通用模型版本

成功新增通用模型版本后,您可以管理所有的通用模型版本,包括查看通用模型的版本信息、设置生效的通用模型版本和删除不再使用的通用模型版本。查看通用模型版本 您可以通过以下两种方法查看通用模型的版本信息。方法一 登录 蚂蚁隐私计算...

OceanBase 数据库支持版本

OceanBase 数据企业版 V4.2.1 OceanBase 数据企业版 V3.2.4 OceanBase 数据企业版 V3.2.3 V4.2.1 版本数据参考文档 模式 文档 简介 通用 数据设计规范和约束 本文档为您介绍 OceanBase 数据的对象命名、对象结构设计、字符集、...

管理实例

说明 不支持在 PolarDB-X 1.0计算资源只读实例 的管理界面创建和删除数据,只读实例的数据随着主实例的数据创建而创建,随着主实例的数据库删除删除。选择私有定制RDS实例 PolarDB-X 1.0计算资源只读实例 的数据存储在 PolarDB-X 1...

API概览

本产品(云数据 PolarDB/2017-08-01)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...

Jindo DistCp场景化使用指导

说明 如您在开源Hadoop集群环境中使用LZO压缩功能,则您需要安装gplcompression的nativehadoop-lzo包,场景十:如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象,该使用哪些参数?如果您需要将Copy列表中...

Jindo DistCp场景化使用指导

说明 如您在开源Hadoop集群环境中使用LZO压缩功能,则您需要安装gplcompression的nativehadoop-lzo包,场景十:如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象,该使用哪些参数?如果您需要将Copy列表中...

Jindo DistCp场景化使用指导

说明 如您在开源Hadoop集群环境中使用LZO压缩功能,则您需要安装gplcompression的nativehadoop-lzo包,场景十:如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象,该使用哪些参数?如果您需要将Copy列表中...

Jindo DistCp场景化使用指导

说明 如您在开源Hadoop集群环境中使用LZO压缩功能,则您需要安装gplcompression的nativehadoop-lzo包,场景十:如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象,该使用哪些参数?如果您需要将Copy列表中...

Jindo DistCp场景化使用指导

说明 如您在开源Hadoop集群环境中使用LZO压缩功能,则您需要安装gplcompression的nativehadoop-lzo包,场景十:如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象,该使用哪些参数?如果您需要将Copy列表中...

Jindo DistCp场景化使用指导

说明 如您在开源Hadoop集群环境中使用LZO压缩功能,则您需要安装gplcompression的nativehadoop-lzo包,场景十:如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象,该使用哪些参数?如果您需要将Copy列表中...

Jindo DistCp场景化使用指导

说明 如您在开源Hadoop集群环境中使用LZO压缩功能,则您需要安装gplcompression的nativehadoop-lzo包,场景十:如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象,该使用哪些参数?如果您需要将Copy列表中...

Jindo DistCp场景化使用指导

说明 如您在开源Hadoop集群环境中使用LZO压缩功能,则您需要安装gplcompression的nativehadoop-lzo包,场景十:如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象,该使用哪些参数?如果您需要将Copy列表中...

迁移HDFS数据到OSS

说明 如果您需要在开源Hadoop集群环境中使用lzo的压缩方式,请确保已安装gplcompression的nativehadoop-lzo包。如果缺少相关环境,建议使用其他压缩方式进行压缩。codec gz-policy 指定拷贝到OSS后的文件类型。取值:ia:低频访问 ...

Jindo DistCp使用说明

说明 如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的nativehadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件,用来记录copy过程中的目标文件、源...

使用说明

PolarDB MySQL版 多主集群(表)实现从一写多读架构到多写多读架构的升级;支持不同数据在不同计算节点并发写入;支持数据跨节点动态调度,秒级完成切换,极大提升实例整体并发读写能力。本文介绍 多主集群(表)的使用说明。前提...

Jindo DistCp使用说明

说明 如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的nativehadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件,用来记录copy过程中的目标文件、源...

Jindo DistCp使用说明

说明 如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的nativehadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件,用来记录copy过程中的目标文件、源...

Jindo DistCp使用说明

说明 如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的nativehadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件,用来记录copy过程中的目标文件、源...

Jindo DistCp使用说明

说明 如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的nativehadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件,用来记录copy过程中的目标文件、源...

Jindo DistCp使用说明

说明 如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的nativehadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件,用来记录copy过程中的目标文件、源...

Jindo DistCp使用说明

说明 如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的nativehadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件,用来记录copy过程中的目标文件、源...

Jindo DistCp使用说明

说明 如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的nativehadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件,用来记录copy过程中的目标文件、源...

Jindo DistCp使用说明

说明 如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的nativehadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件,用来记录copy过程中的目标文件、源...

Jindo DistCp使用说明

说明 如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的nativehadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件,用来记录copy过程中的目标文件、源...

ECS自建数据库的灾备与安全

数据备份DBS支持MySQL、SQL Server、PostgreSQL等阿里云数据,以及ECS上的自建数据、线下数据、其他云数据进行备份恢复操作。本文以ECS MySQL为例,介绍如何通过DBS实现ECS数据的灾备与安全,满足实时备份、快速恢复、异地灾备...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 MongoDB 版 云数据库 Redis 版 数据库备份 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用