自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
3.目标集群的所有节点建议通过同一个 NAT网关出公网访问源集群，方便源集群的 安全组配置安全策略；4.目标集群绑定 EIP（弹性公网 IP）带宽要和绑定在源集群节点上面多个 IP的带宽 和相等，避免造成网络的性能瓶颈。方案架构 文档版本：20210714 61 自建Hadoop数据迁移到阿里云 EMR 附录 执行步骤 源集群侧配置 步骤1 登陆...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
您可以使用 RAM 创建和管理用户和组，并使用各种权限来允 许 或 拒 绝 他 们 对 云 资 源 的 访 问。更 多 信 息，请 参 见 https://help.aliyun.com/document_detail/28627.html 阿里云文件存储 NAS：是一个可共享访问，弹性扩展，高可靠，高性能的分布式 文件系统。兼容 POSIX 文件接口，可支持数千台计算节点共享访问，...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
策略组名称：WAF回源地址 所属资源组：默认资源组 IP版本：IPv4 批量添加地址和备注：填入 WAF的回源 IP地址 说明：填写白名单的 IP地址段时，每行只能填一个地址段，然后换行写下一个地址段。文档版本：20200127 91 部署 Web应用防火墙（WAF）企业上云 workshop-IDC业务迁移上云 文档版本：20200127 92 部署 Web应用防火墙...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
本方案重在展示迁移思路和方法，线下 IDC的模拟环境以组件配置呈现。文档版本：20210721 4 自建Hive数据仓库跨版本迁移到阿里云 EMR 基础环境搭建 1.基础环境搭建 本实践方案中，将按照技术架构图搭建相对完整的实践环境，包括 Apache日志发生 器、Kafka队列、Hadoop集群、Hive+MySQL元数据库。1.1.使用云速搭 CADT快速创建...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
本最佳实践以阿里云华北 3（张家口）为例作为云上异地冷备中心环境，在该地域开 通 DBS、OSS、DLA、DMS服务（具体开通过程，本文省略，默认作为前置条件已 经 Ready。如有疑问，可咨询阿里云解决方案架构师或阿里云授权合作伙伴）。由于 VPC本身不收取任何费用，可以在冷备中心提前开通并创建。为了节省成本，冷备中 心平时...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
安装 arena 背景信息 Arena是阿里开源的一个管理工具，可以一键提交训练或者推理作业，进行作业管 理。详情请参考：https://github.com/kubeflow/arena/blob/master/docs/installation/INSTALL_FROM_B INARY.md 操作步骤 步骤1 到如下地址，下载 arena安装包：https://github.com/kubeflow/arena/releases 步骤2 拷贝到 ...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
说明：绑定 Hologres数据源必须使用独享数据集成资源组，若是已有，可忽略，若 是没有，则需要购买独享资源组并绑定至指定 DataWorks工作空间。文档版本：20211213 56 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 5.6.创建业务流程 步骤1 打开 Dataworks首页...
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
完整兼容 Prometheus 开源生态 支持类型丰富的组件监控.应用实时监控服务ARMS.应用监控 eBPF 版.可观测链路 OpenTelemetry 版.可观测监控 Prometheus 版.可观测可视化 Grafana 版.性能测试PTS.应用实时监控服务.作为面向业务与云原生架构的运维智能监控平台，应用实时监控服务（ARMS）为服务端应用和服务提供代码级实时性能...
来自：
云产品
智能媒体服务 IMS
智能媒体服务IMS（Intelligent Media Services），是围绕直播和点播场景下的媒体采集、媒资管理、内容生产、制作和分发能力的一站式服务集，提供广播级、全智能、灵活多样、可多云接入的专业能力，并面向多云复杂业务流场景提供成熟的低代码终端SDK集成方案。
提供开源的样板间、组件作为SDK集成标准方案，低代码集成跑通典型业务链路.提升集成效率.原生融合多个SDK能力，省去繁复的多SDK冲突处理.降低维护成本.开放源码，方便客户后续自行维护；开放接口供第三方开发垂直业务场景组件，丰富生态.对象存储OSS.视频点播VOD.音视频通信RTC.海量、安全、低成本、高可靠的云存储服务，...
来自：
云产品
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
丰富的预置集成组件，覆盖阿里云、开源主流监控系统.支持短信、电话、钉钉、邮件、飞信等多种通知方式，同时也支持对接aone/jira/pagerduty等多种协同系统.支持多种告警策略，如通知策略、升级策略、静默策略、抑制策略等，其中通知策略支持通过定义事件匹配规则，对告警事件进行精准识别，满足一类告警通知策略的统一配置....
来自：
云产品
SAP上云解决方案
SAP上云解决方案依托阿里云可靠和灵活的云计算基础设施和平台服务，结合 SAP 世界领先的企业级数据库和商务应用解决方案，帮助企业简化 IT 架构、实现商业价值、加速数字化转型的步伐。
通过预制在 SLES for SAP 操作系统中适配阿里云的 ClusterLabs 开源高可用集群工具以及 SLES HA Extension 组件，实现在云上单地域跨可用区 SAP 高可用解决方案.混合云 HBR 备份服务和 SAP HANA 原生集成，提供安全，高效的备份和容灾保护.智能接入网关.单地域跨可用区高可用部署.基于Cascade Lake/Ice Lake处理器和阿里云...
来自：
解决方案
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
如果此跳板机为阿里云上的 ECS，需要 在此 ECS的安全组中开放 ssh端口（通常为 22），具体配置方式请参见添加安全 组规则（https://help.aliyun.com/document_detail/25471.html）。数据科学家通过 sshuttle，将对 Notebook的请求代理到跳板机中，保证数据科学 家和 Notebook的网络访问联通。部署过程无需额外参数配置。...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
启用 Hue Hue是用于数据库和数据仓库的开源 SQL Assistant，阿里云 EMR服务将其作为默认 组件进行了安装。步骤1 首先启动 HDFS服务的 HttpFS组件。步骤1 新增加安全组规则，允许访问 8888端口，该端口用于访问 Hadoop集群的 Hue管理 界面。强烈建议在非维护期间关闭该端口访问。步骤2 获取 Hue的管理员密码。Hue服务默认在...
交通云控平台
阿里云交通云控平台为构建下一代智慧交通系统提供地图、数据、智能算法、云边协同、控制下发、视觉渲染六大能力。行业开发者可利用这些能力对城市交通、高速运营、大型枢纽调度等业务场景进行智慧化改造，用创新的、智能的应用和优化方案服务于交通管理者和交通出行者。
云控平台支持公共云、专有云、混合云、一体机四种形态的部署方式，同时支持开源底座，兼顾不同类型客户对算力、安全、价格的要求.云控平台的边缘计算产品Neuro，提供视频分析和信号优化方案产出和下发的能力，同时云端自动纳管，运维无忧.提供云端、边端的计算能力，云边协同一体化管理.交通智能小黑盒Neuro.高速云控解决...
来自：
云产品
表格存储Tablestore
表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless分布式数据库，它可提供低成本、高性能的存储方案，同时也可提供稳定与极致的数据服务。
对接Spark、Flink、Maxcompute等计算引擎作为维表、结果表以及源表存储，提供可弹性扩展、高并发低延迟的在线服务能力.提供一站式物联网存储IoTstore解决方案。针对物联网设备元数据、消息数据、时序数据提供存储与分析能力，适用于智能家居、物流、交通、车联网等场景.查看全部日志.查看各个计费项各个区域定价.了解产品...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您