使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
Credential Provider使用说明
hadoop credential create fs.jfs.cache.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.jfs.cache.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential ...
Encrypt
详细说明 KMS使用指定CMK的主版本对传入数据进行加密。最多可加密6KB的数据，例如RSA密钥、数据库密码或其它敏感信息。如果将加密数据从一个地域迁移到另一个地域，可以调用Encrypt接口在新地域中加密从另一个地域中转移过来的明文DataKey...
Credential Provider使用说明
hadoop credential create fs.jfs.cache.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.jfs.cache.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential ...
Credential Provider使用说明
hadoop credential create fs.jfs.cache.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.jfs.cache.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential ...
对OSS进行客户端加解密
使用场景 当使用KMS托管用户主密钥用于客户端数据加密时，无需向加密客户端提供任何加密密钥，只需在上传对象时指定KMS用户主密钥资源名称（CMK ARN）即可。加密机制 获取加密密钥。通过使用CMK ARN，加密SDK（Encryption SDK）首先向KMS...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
对称加密概述
对称加密是最常用的数据加密保护方式。KMS提供了简单易用的接口，方便您在云上轻松实现数据加解密功能。如果您不指定具体的密钥规格（KeySpec），KMS默认创建对称密钥。阿里云支持主流的对称密钥算法并且提供足够的安全强度，保证数据加密...
配置OSS/OSS-HDFS Credential Provider
hadoop credential create fs.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss....
配置OSS/OSS-HDFS Credential Provider
hadoop credential create fs.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss....
密钥管理类型和密钥规格
支持的对称密钥规格 对称密钥加密是最常用的敏感数据加密保护方式之一，加密过程和解密过程使用相同的密钥内容，KMS可以安全保管对称密钥的密钥材料以防止被非法窃取或使用，确保被加密数据的安全。对称密钥主要用于数据的加密保护场景，...
使用KMS密钥进行信封加密
当您的自建应用程序需要加密大量数据或者您不希望上传数据到阿里云密钥管理服务KMS（Key Management Service）时，可以使用信封加密。本文介绍如何使用KMS实现对数据的信封加密。适用的密钥类型 软件密钥、硬件密钥。重要 软件密钥、硬件...
TLS加密套件与协议版本配置
如何选择TLS加密套件组和TLS协议 业务场景 加密套件组 支持的TLS协议 特点 对兼容性要求较高，安全性要求可适当放宽的大部分网站或应用 全部加密算法套件（默认）TLS1.0、TLS1.1、TLS1.2、TLS1.3（可选）支持数量最多的加密套件和协议，...
自动轮转密钥
这类密钥由特定云产品为用户代为管理，为您的数据提供最基本的加密保护。用户自带密钥（Customer Supplied Key）：您导入到KMS中的密钥。这类CMK的 Origin 属性为 External，KMS不负责为用户生成密钥材料，无法自动发起轮转行为。更多信息...
HDFS数据源
由于snappy目前没有统一的stream format，数据集成目前仅支持最主流的hadoop-snappy（hadoop上的snappy stream format）和framing-snappy（google建议的snappy stream format）。ORC文件类型下无需填写。否 无 parquetSchema 如果您的文件...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
创建DataFlow Kafka集群
附加安全组：您可以为该节点组关联最多2个附加安全组，附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。挂载公网：集群是否挂载弹性公网IP地址，默认不开启。说明 创建后如果您需要使用公网IP地址访问，请在ECS上申请开通公网...
集群管理常见问题
受ECS部署集本身的限制，目前最多支持20台ECS实例加入部署集。具体操作请参见 开启部署集。扩容集群如何指定部署集？默认本地盘机型会开启部署集，其他机型关闭部署集，您可以根据需要自行调整。开启部署集的具体操作，请参见 开启部署集。...
文件分析
s3.secret_key 访问S3的用户加密认证字符串。必选参数。s3.region 默认使用 us-east-1。如果Minio服务设置了其他的Region，必选参数。s3.session_token 访问S3的用户临时会话token。若启用临时会话验证，必选参数。use_path_style S3 SDK...
作业配置指南
假设spark.dla.job.maxAttempts=3，则这个作业最多尝试3次。spark.dla.job.attemptFailuresValidityInterval-1 作业尝试追踪的有效时间间隔，默认值为-1，代表未启用作业尝试追踪。重要 如果作业尝试结束时间距离当前时间已经超过了指定的...
SSH服务的相关介绍
SSH服务是基于非对称加密（public-key cryptography，也称公开密钥加密）算法实现数据加密传输的。非对称加密算法需要两个密钥：公开密钥（publickey：简称公钥）和私有密钥（privatekey：简称私钥）。公钥与私钥是一对，如果用公钥对数据...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
敏感数据加密
数据加密可以确保敏感数据在存储、传输和处理过程中得到有效的保护，降低数据泄露的风险。Kubernetes中的敏感数据 Kubernetes为应用开发者提供了Secrets和ConfigMaps模型，用于保存应用Pod在运行时需要加载、使用的数据。在设计上，Secrets...
数据加密和密钥管理
数据加密 云盘加密建议 开启云盘加密特性 对业务数据静态加密是安全的最佳实践，具体操作，请参见 加密云盘存储卷。定期轮换CMK 您可以通过密钥版本化和定期轮转来加强密钥使用的安全性，实现数据保护的安全策略和最佳实践。具体操作，请...
配置加密转换组件
针对上游输入的数据，可以选择加密算法和密钥，对敏感的字段进行加密，从而实现对敏感数据的保护。本文为您介绍如何配置加密转换组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 请参见 离线管道组件...
配置加密转换组件
针对上游输入的数据，可以选择加密算法和密钥，对敏感的字段进行加密，从而实现对敏感数据的保护。本文为您介绍如何配置加密转换组件。前提条件 已创建离线单条管道，详情请参见 通过离线单条管道配置集成任务。操作步骤 请参见 离线管道...
配置解密转换组件
针对上游加密过的数据，如果已知加密算法和密钥，就可以对数据进行解密，获取明文，进行后续的处理。本文为您介绍如何配置解密转换组件。前提条件 已创建离线单条管道。更多信息，请参见 通过离线单条管道配置集成任务。操作步骤 请参见 离...
配置解密转换组件
针对上游加密过的数据，如果已知加密算法和密钥，就可以对数据进行解密，获取明文，进行后续的处理。本文为您介绍如何配置解密转换组件。前提条件 已创建离线单条管道。更多信息，请参 通过单条管道创建集成任务。操作步骤 请参见 离线管道...
服务器端加密
OSS ON云盒支持服务器端加密功能。开启服务器端加密后，OSS对在云盒Bucket中上传的Object进行加密，再将得到的加密Object持久化保存。下载Object时，OSS自动将加密Object解密后返回给用户，并在返回的HTTP请求Header中，声明该Object进行了...
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
ECS数据加密的应用
数据加密适用于数据安全或法规合规等场景，帮助您加密保护存储在阿里云ECS上的数据，您可以选择对系统盘、数据盘或者镜像进行加密，然后基于加密后的云盘和镜像去创建ECS实例，以保护数据的隐私性和安全性。本文主要为您介绍加密云盘、快照...
使用阿里云KMS进行Secret的落盘加密
在 ACK Edge集群Pro版 中，您可以使用在阿里云密钥管理服务KMS（Key Management Service）中创建的密钥加密Kubernetes Secret密钥，提升加密数据保护能力。本文主要介绍如何使用KMS中管理的密钥对 ACK Edge集群Pro版 中的Kubernetes Secret...
JindoDistCp使用说明
Hadoop 2.3+版本，请下载最新版的jindo-distcp-tool-x.x.x.jar，该JAR包含在jindosdk-${version}.tar.gz内，解压缩后可在tools/目录下找到，单击进入 JindoData下载。说明 EMR-5.6.0及以上版本、EMR-3.40.0及以上版本的集群已部署...
共享快照
共享加密快照 步骤1：共享者 创建角色并授权 当您共享加密快照时，需要先通过阿里云的访问控制创建名为 AliyunECSShareEncryptSnapshotDefaultRole 的角色并授予指定的权限与策略，然后才可以将加密快照共享给其他阿里云账号使用。...
使用阿里云KMS进行Secret的落盘加密
在 ACK Serverless Pro集群 中，您可以使用在阿里云密钥管理服务KMS（Key Management Service）中创建的密钥加密Kubernetes Secret密钥。本文主要介绍如何使用KMS管理的密钥对ACK Pro集群中的Kubernetes Secret密钥数据进行落盘加密。索引 ...
- 产品推荐
- 这些文档可能帮助您