自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 ...
自建Hive数据仓库迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。客户在决策上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。方案优势 易用性 您可以简单选择所需ECS机型（CPU、...
什么是EMR on ECS
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？...目前DLF支持与阿里云E-MapReduce产品组合实现Spark数据的读取，详细请参考：EMR+DLF数据湖解决方案，暂不支持与自建Hadoop/Spark集群的集成。
产品优势
优势总结 对比类目 自建Hadoop系统 阿里云 DLA+OSS方案 产品体系 复杂、组件较多 一体化、端到端（入湖=>管理=>ETL=>分析查询），产品体验好；组件精耕细作Presto、Spark；弹性 无 云原生、弹性强、一分钟可弹300节点参与计算 性价比 开源...
数据湖生态接入
生态类型 引擎/平台 参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop 自建Hadoop使用...
测试环境
场景三：1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 场景说明：使用自建Spark和DLA Spark分别访问自建Hadoop集群，运行Terasort 1 TB基准测试，对它们的耗时进行对比分析。DLA Spark+OSS配置如下：配置名称 ...
数据迁移
数据迁移和脚本迁移遇到的问题及解决方案请参见 迁移自建Hadoop数据至MaxCompute实践。迁移Oracle数据至MaxCompute，详情请参见 迁移Oracle数据至MaxCompute。迁移消息队列for Apache Kafka集群数据至MaxCompute，详情请参见 迁移消息队列...
测试结果
1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比结果 集群类型 运行Terasort基准测试集耗时（min）DLA Spark+OSS 43.5 自建Hadoop+Spark 44.8 您可以将自建Hadoop和DLA Spark混合使用，自建Hadoop集群在高峰期需要...
如何将本地.rdb文件恢复到云数据库 Redis 版实例
重启自建的Redis服务。查询Redis数据，确认RDB文件的数据已恢复到自建Redis数据库。通过DTS将自建Redis数据库的数据迁移到 云数据库 Redis 版 实例。具体操作步骤，请参见 从自建Redis迁移至阿里云Redis。相关文档 自建Redis的 AOF文件恢复...
异构数据源访问
当目标数据源为自建Hadoop集群，选择 自建Hadoop。数据库类型 选择 HDFS。数据来源 E-MapReduce集群ID。说明 自建Hadoop集群无此参数。网络校验 单击 网络校验，提示网络连通。单击下一步，填写 配置文件。参数 说明 获取方式 参数配置 无 ...
解读上云评估报告
说明 max_connections 和 max_prepared_transaction 参数变更，需要重启自建PostgreSQL。Check rds user（检查RDS系统账号是否在源端实例上被占用）检查内容 Check if rds system user is occupied 常见报错 warning:Check if rds system ...
从自建HDFS迁移数据
自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时，可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示：hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
常见报错
systemctl restart mysqld 说明 修改配置文件后，需要重启数据库实例配置才可生效，请考虑在业务低峰期重启自建数据库实例。以上操作完成后，MySQL已重启。您可使用步骤1的命令查看binlog日志是否已开启成功，然后重新启动备份计划即可。...
测试方法
场景三：1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 准备测试数据 在自建Hadoop上生成1 TB Terasort测试数据。使用spark-submit命令向自建Spark集群中提交运行生成1 TB Terasort测试数据的Spark程序。示例如下...
使用限制
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时...不支持Hive LLAP 建议使用Presto/Spark等引擎替代 目前DLF不支持与自建的Hadoop集群集成，如需使用数据湖请选择阿里云E-MapReduce集群。
源库Binlog检查
修复方法：登录自建MySQL数据库服务器。使用 vim 命令修改配置文件 my.cnf 中的如下参数。说明 配置文件 my.cnf 的默认路径为/etc/my.cnf，请以实际情况为准。log_bin=mysql_bin binlog_format=row server_id=2#大于1的整数，此处仅为示例...
使用CreateCluster API创建集群
参数值为USER_RDS，对应控制台的 自建RDS。参数值${dbURL}：填写RDS地址，示例值：jdbc:mysql:/rm-bp1qg11xjszt3x3*.mysql.rds.aliyuncs.com/hivemeta 。参数${dbUser}：填写RDS用户名。参数${dbPassword}：填写RDS用户${dbUser}对应的密码...
迁移概述
本文介绍将自建Kafka集群迁移到 云消息队列 Kafka 版 实例的优势、原理、方案架构、迁移工具和操作流程。迁移优势 将自建Kafka集群迁移到 云消息队列 Kafka 版 实例的优势，请参见 产品优势。迁移原理 对于消息队列来说，如果要实现集群...
应用场景
云上只读 用户自建（IDC自建、ECS自建）作为源实例，RDS PostgreSQL作为云上的只读实例，扩展读取能力，分担负载。云上灾备 用户自建（IDC自建、ECS自建）源实例故障时，RDS PostgreSQL支持手动强制切换为主库，业务延续读写能力。阿里云...
概述
本文将分别从Table/SQL JAR迁移至SQL、Datastream JAR迁移和Table/SQL JAR迁移至JAR三方面，为您介绍如何进行自建Flink作业迁移。背景信息 本文以统计每5分钟窗口内订单的订单总量和订单总金额的计算逻辑为例，为您介绍如何进行自建Flink...
2020年
从自建Oracle迁移至阿里云 从自建Oracle迁移至 PolarDB O引擎 集群（迁移结构）从自建Oracle迁移至PolarDB O引擎集群（迁移数据）支持PolarDB MySQL同步至PolarDB-X 2.0。从PolarDB MySQL同步至PolarDB-X 2020年11月 支持PolarDB ...
使用自建镜像仓库
拉取自建镜像仓库中的镜像时，可能会碰到因协议不同、证书认证失败或者使用了自建DNS服务器而导致镜像拉取失败的问题。本文介绍在自建镜像仓库采用HTTP协议和使用自签发证书或者自建DNS服务器的情况下，如何拉取自建镜像仓库中的镜像来创建...
怎么创建自建应用
怎么创建自建应用？操作路径：社群运营>右上角设置小图标>系统设置>授权管理>企业微信授权>企业接入 1、获取企业ID，获取路径为 企业微信后台>我的企业>企业信息 最下方 2、填写企业ID 3、扫描授权自建应用二维码，并在手机端同意授权 4、...
使用自建镜像仓库
拉取自建镜像仓库中的镜像时，可能会碰到因协议不同或者证书认证失败而导致镜像拉取失败的问题。本文介绍在自建镜像仓库采用HTTP协议和使用自签发证书的情况下，如何拉取自建镜像仓库中的镜像来创建ECI Pod或者ImageCache。功能说明 拉取自...
同步方案概览
自建Kafka 0.10.1.0~2.7.0版本 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至阿里云消息队列Kafka版 从自建MySQL同步至阿里云消息队列Kafka版 从ECS上的自建MySQL同步至自建Kafka集群 从通过专线、VPN网关或智能接入...
导出至自建MySQL
本文介绍如何通过 AnalyticDB MySQL 数仓版（3.0）的外表导出数据至ECS自建MySQL。前提条件 已创建与 AnalyticDB MySQL 集群相同地域、相同VPC的ECS实例。已在ECS实例中安装自建MySQL。已在ECS实例的安全组中对自建MySQL的端口3306入方向...
自建Eureka注册中心迁移到MSE Nacos
本文迁移指导适用于自建Eureka注册中心需要迁移到MSE Nacos的场景。前提条件 部署MSE Sync迁移工具。...重启完成后，检查自建集群下连接是否已经全部完成。步骤四：关闭自建Eureka集群 停止自建Eureka集群。停止迁移工具。
E-MapReduce数据迁移方案
新旧集群网络打通 线下IDC自建Hadoop 自建Hadoop迁移到E-MapReduce可以通过OSS进行过渡，或者使用阿里云高速通道产品建立线下IDC和线上E-MapReduce所在VPC网络的连通。利用ECS自建Hadoop 由于VPC实现用户专有网络之间的逻辑隔离，E-...
自建Dubbo Nacos注册中心迁移到MSE Nacos
MSE提供了MSE Sync迁移工具等解决方案，能够实现从自建Nacos到MSE Nacos的数据平滑迁移，最大限度地减少对线上服务的影响。MSE Nacos相比自建Dubbo Nacos具有更高的性能和容量、更多的服务发现协议、更便捷的运维管理以及更灵活的扩展性等...
自建Dubbo ZooKeeper迁移到MSE ZooKeeper
前提条件 已部署MSE Sync迁移工具。具体操作，请参见 MSE Sync迁移方案。已创建MSE Zookeeper集群。...重启完成后，检查自建集群下连接是否已经全部完成。步骤四：关闭自建ZooKeeper集群 停止自建ZooKeeper集群。停止迁移工具。
修改实例维护属性
如果实例只挂载了云盘，您可以选择以下选项：自动重启恢复 禁止重启恢复 如果实例挂载了本地盘，您可以选择以下选项：自动重启恢复 禁止重启恢复 自动重新部署 在 实例详情 页的 其它信息 区域，确认变更后的 维护属性。相关文档 查询实例...
云·智选建站简介
介绍云·智选建站产品，为客户进一步了解，选择适合的产品。云·智选建站，是一款所见即所得的在线自助建站产品，三合一终端，以易用流畅、轻松快速、效果丰富、百度收录、赋能获客与留客为特色，帮助企业建立多端网站，提升品牌，最终为...
重启服务器后，EDAS Agent是否能自动重启？
是的，重启服务器后EDAS Agent、应用都会自动重启。
续费降配
是否需要重启实例 降低实例规格：需要 若设置了重启时间，实例将在您设置的时间自动重启使规格配置生效。若未设置重启时间，必须在新的计费周期内手动重启实例，否则降配操作不会生效。变更公网带宽：不需要 转换数据盘计费方式：不需要 新...
续费降配
是否需要重启实例 降低实例规格：需要 若设置了重启时间，实例将在您设置的时间自动重启使规格配置生效。若未设置重启时间，必须在新的计费周期内手动重启实例，否则降配操作不会生效。变更公网带宽：不需要 转换数据盘计费方式：不需要 新...
开启Binlog
开启Binlog后集群会自动重启，通常情况下，重启任务会在5分钟之内完成，重启完成后新参数配置才会生效。重启时服务闪断时间在40秒左右。具体时间与数据量和表数量相关，建议您在业务低谷期进行操作并确保应用程序具备重连机制。说明 若您的...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7...
设置数据库参数
注意事项 部分参数在提交修改后会自动重启实例，需要重启的参数请参见 参数列表 页面中的 是否重启 列。说明 实例重启会造成连接中断，修改相关参数前请做好业务安排，谨慎操作。操作步骤 登录 MongoDB管理控制台。根据实例类型，在左侧...
- 产品推荐
- 这些文档可能帮助您