通过Logstash迁移自建Elasticsearch数据
如果您想要通过Logstash将自建Elasticsearch集群中的数据迁移至Lindorm搜索引擎，可以参考本文的操作步骤配置脚本和迁移任务。前提条件 自建Elasticsearch（简称ES）集群为7.0.0~7.10.1版本。已开通搜索引擎（Elasticsearch兼容版）。如何...
Hadoop集群迁移至DataLake集群
自建RDS 使用自建的阿里云RDS作为元数据库。选择该方式时，需要配置已有RDS相关的参数，详情请参见 配置自建RDS。内置MySQL 元数据存储在集群本地环境的MySQL数据库中。重要 该方式仅用于测试场景，请勿用于生产环境。（可选）软件自定义...
通过DataWorks将Hadoop数据同步到阿里云ES
支持同步的数据源包括：阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云OSS 阿里云Tablestore 自建HDFS、Oracle、FTP、DB2及以上数据库类型的自建版本 适用场景...
产品优势
特性 Lindorm时序引擎 OpenTSDB 运维管控 服务可用性 99.9%需自行保障，自行搭建集群，自建组件依赖 数据可靠性 99.9999%需自行保障，自行搭建集群，自建组件依赖 软硬件投入 无软硬件投入，按需付费 数据库服务器成本相对较高 维护成本 ...
使用Presto访问
本章节介绍如何通过自建的Presto使用文件引擎。背景信息 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持从GB到PB字节。Presto支持在线数据查询，包括Hive、Cassandra、关系数据库以及专有数据存储。说明 本文中...
什么是云原生数据湖分析
支持 AnalyticDB PostgreSQL 支持 支持 MaxCompute 支持 支持 Elasticsearch 支持 支持 Cassandra 支持 支持 Kudu 支持 支持 ECS自建Druid数据库数据 支持 支持 何时使用DLA DLA主要围绕数据湖存储OSS提供一站式的云原生数据湖分析与计算...
JindoData概述
阿里云OSS-HDFS服务（JindoFS服务）是JindoFS存储系统在阿里云上的服务化部署形态，和阿里云OSS深度融合，开箱即用，无须在自建集群部署维护JindoFS，即免运维。OSS-HDFS服务的详细信息，请参见 OSS-HDFS服务概述。JindoFSx存储加速系统 ...
应用场景
分布式调度（支持非微服务场景）MSE ZooKeeper提供了丰富的分布式锁，分布式队列等功能，可以为自建分布式应用提供多种分布式协调解决方案，提升系统高可用能力，快速高效实现分布式应用系统的构建。如果你使用的是Hadoop、HBase、Kafka和...
DLF统一元数据
切换为MySQL（包括集群内置MySQL、统一meta数据库和自建RDS）：设置 hive.imetastoreclient.factory.class 的值为 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory。切换为DLF统一元数据：设置 hive....
迁移HDFS数据到OSS
如果您使用的是自建ECS集群，需要具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。步骤一：下载JAR包 登录EMR集群。登录 EMR on ECS控制台。单击创建的EMR集群。单击 节点管理 页签，然后单击节点组左侧的。单击ECS ID。在ECS...
EMR HBase版本
本文为您介绍HBase版本的兼容性、选择建议以及发布记录。EMR HBase版本 EMR HBase随EMR版本一起发布，EMR主版本分为3.x系列和5.x系列，其中EMR 3.x系列...如果没有自建集群，可根据依赖的Hadoop版本，选择EMR 3.x或EMR 5.x系列的HBase版本。
概览
支持 从自建数据库同步数据 文档 简介 是否支持Serverless版本 从ECS上的自建MySQL同步至AnalyticDB PostgreSQL版 数据传输服务DTS（Data Transmission Service）支持将ECS上的自建MySQL数据同步至 AnalyticDB PostgreSQL版，帮助您轻松...
快速入门
} 相关文档 Elasticsearch迁移 包括阿里云Elasticsearch集群间迁移、自建Elasticsearch迁移至阿里云，以及第三方Elasticsearch迁移至阿里云。常见数据库迁移 包括RDS MySQL、MongoDB、PolarDB-X和PolarDB MySQL迁移至阿里云Elasticsearch。...
SmartData常见问题
在无EMR管控支持情况下，想使用自建的IDC集群，又不想在集群节点上配置AccessKey，该如何处理？JindoFS支持Auditlog吗？JindoFS支持Ranger集成吗？使用问题汇总 JindoFS如何手动下线节点？什么是JindoFS？JindoFS是阿里云开源大数据E-...
Hive作业异常排查及处理
在自建ECS上提交Hive作业异常 在自建ECS上提交Hive作业（不在EMR产品范围内），会出现不可预期报错。请使用EMR Gateway集群或者使用EMR-CLI自定义部署Gateway环境。更多信息，请参见 使用EMR-CLI自定义部署Gateway环境。数据倾斜导致的作业...
自助建站方式汇总
管理ECS实例自建数据库 ECS实例自建数据库，是指在ECS实例上安装并配置的数据库。您可以使用数据管理服务DMS来管理ECS实例自建数据库。本教程以MySQL为例，介绍如何使用DMS添加并管理ECS实例自建数据库。部署Linux主机管理系统WDCP WDCP...
管理Hive Catalog
支持自建Hive Metastore。由于从Flink社区从1.16版本开始废弃了对Hive 1.x，2.1.x，2.2.x版本的支持，所以仅VVR 6.x 版本支持Hive 1.x，2.1.x，2.2.x。实时计算引擎VVR 4.0.11及以上版本支持DLF作为Hive Catalog的元数据管理中心。说明 ...
迁移HDFS数据到OSS-HDFS
如果您使用的是自建ECS集群，需确保集群具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。通过自建ECS集群完成迁移任务前，您需要自行部署 JindoData（JindoData包含JindoSDK以及JindoFSx）。建议跟随版本迭代，下载最新版本。...
注册EMR集群至DataWorks
详情请参见 配置自建RDS。一个EMR集群可以注册在同一个阿里云账号的多个工作空间，若当前阿里云账号的已有集群已注册至DataWorks，则该集群无法跨账号再次被注册至DataWorks。步骤一：进入EMR集群页面 进入管理中心页面。登录 DataWorks...
创建集群
选择该方式时，需要配置RDS相关的参数，详情请参见 配置自建RDS。内置MySQL（不推荐）：该方式的元数据存储在集群本地环境的MySQL数据库中。说明 测试场景：推荐使用 DLF统一元数据。生产场景：可以使用 DLF统一元数据 或 自建RDS。集群...
迁移OSS-HDFS服务不同Bucket之间的数据
如果您使用的是自建ECS集群，需确保集群具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。通过自建ECS集群完成迁移任务前，您需要自行部署 JindoData（JindoData包含JindoSDK以及JindoFSx）。建议跟随版本迭代，下载最新版本。...
访问Hive数据源
E-MapReduce集群业务场景为 新增数据湖，需具有Hadoop-Common、HDFS、YARN和Hive服务，且元数据为 自建 RDS 或 内置 MySQL。具体操作，请参见 创建集群。或已自建与AnalyticDB MySQL湖仓版（3.0）集群同地域的Hive集群。重要 元数据类型为 ...
最佳实践概览
ES-Hadoop使用 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据 通过ES-Hadoop将HDFS中的数据写入Elasticsearch 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 ...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
查询Delta表数据
您可以通过Hive、Presto和Trino引擎查询Delta表数据，详情请参见 通过Spark创建表查询Delta表。E-MapReduce也支持对已经存在的Delta数据，通过创建Hive外表来查询数据，详情请参见 创建Hive外表。使用限制 本文适用于EMR-3.37.0及后续版本...
2021年
2021-09-14 华南1金融云（深圳）无 MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，...
外部表
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe->stored as textfile org.apache.hadoop.hive.ql.io.orc.OrcSerde->stored as orc org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe->stored as parquet org.apache....
Python内置资源包
hdfs>=2.1.0 Hadoop计算引擎下，使用HDFS。jumpssh 无 使用跳板机连接服务器。mysql-connector-python>=8.0.11 连接并操作MySQL。numpy 无 算法基础处理。pandas 无 算法基础处理。psycopg2>=2.7.4 连接操作PostgreSQL。pyhdfs>=0.2.1 ...
Python内置资源包
hdfs>=2.1.0 Hadoop计算引擎下，使用HDFS。jumpssh 无 使用跳板机连接服务器。mysql-connector-python>=8.0.11 连接并操作MySQL。numpy 无 算法基础处理。pandas 无 算法基础处理。psycopg2>=2.7.4 连接操作PostgreSQL。pyhdfs>=0.2.1 ...
自建Nacos配置中心迁移到MSE Nacos
MSE Nacos配置中心相对自建Nacos配置中心，提供了配置加解密、推送轨迹等功能，并且具有高性能、高可用及易用性的优势，可以极大降低运维成本。本文介绍如何从开源自建Nacos配置中心迁移到MSE Nacos配置中心。前提条件 已 创建Nacos引擎。...
自建Eureka注册中心迁移到MSE Nacos
本文迁移指导适用于自建Eureka注册中心需要迁移到MSE Nacos的场景。前提条件 部署MSE Sync迁移工具。创建Nacos引擎。使用限制 迁移工具宕机会导致同步服务中断，因此建议...步骤四：关闭自建Eureka集群 停止自建Eureka集群。停止迁移工具。
故障排查
在使用微服务引擎MSE时，客户端突然出现大量的TIME_WAIT堆积，但是使用自建Nacos却没有。具体操作，请参见 使用MSE后客户端突然出现大量TIME_WAIT堆积。微服务治理接入问题排查 如果您的容器服务ACK应用接入MSE微服务治理失败，请参见 容器...
使用SAE内置Nacos
Serverless 应用引擎 SAE（Serverless App Engine）支持用户白屏化选择不同的Nacos注册中心（自建、SAE内置与MSE商业版）。本文介绍如何通过 SAE 控制台为应用配置Nacos服务注册发现功能。前提条件 根据不同的Nacos类型，按需操作。MSE商业...
性能优化最佳实践
避免使用小文件 处理小文件并非Hadoop的设计目标，Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task，而task启动将耗费大量时间，造成作业的大部分时间都耗费在启动task和释放task...
开源自建对比
基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE 内置K8s集群底座和微服务框架。运维成本 需要。需要。不需要。SAE 免运维。硬件成本 按峰值固定保有包年IaaS，...
对象存储服务路径
为保证数据导入的性能，请确保云数据库与自建的MinIO所在Region相同，并使用内网地址进行访问。HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS...
使用Hadoop作为元仓计算引擎进行元仓初始化
集群配置 说明 OSS-HDFS集群存储仅在E-MapReduce5.x Hadoop引擎类型时支持。HDFS集群存储 参数 描述 NameNode NameNode用于管理HDFS中的文件系统名称空间及外部客户机的访问权限。单击 新增。在 新增NameNode对话框，填写NameNode的...
设置Dataphin实例的计算引擎为Hadoop
本文为您介绍如何设置Dataphin系统的计算引擎为Hadoop。前提条件 已完成系统元数据的初始化，请参见 使用Hadoop作为元仓计算引擎进行元仓初始化。操作步骤 使用超级管理员或系统管理员账号，登录Dataphin控制台。在Dataphin首页，单击顶部...
自建Dubbo Nacos注册中心迁移到MSE Nacos
MSE提供了MSE Sync迁移工具等解决方案，能够实现从自建Nacos到MSE Nacos的数据平滑迁移，最大限度地减少对线上服务的影响。MSE Nacos相比自建Dubbo Nacos具有更高的性能和容量、更多的服务发现协议、更便捷的运维管理以及更灵活的扩展性等...
- 产品推荐
- 这些文档可能帮助您