MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
性能压测的 ECS实例情况对比如下表，本方案测试的场景中，配置 Flink-Master Flink-node 数量 1 6 flink11 flink12 flink13 主机名 flink10 flink14 flink15 flink16 实例用途 Master节点 Node节点 实例规格 ecs.g8y.8xlarge CPU架构 ARM vCPU 32 vCPU 32 vCPU RAM 128 GiB 128 GiB 系统盘 ESSD PL1 500G ESSD PL1 500G ...
两地三中心异地多活网络
基于阿里云洛神网络全球基础设施及云原生SDN技术，帮助企业客户在云上库阿斯构建两地三中心跨域多活网络，保障企业核心业务在全球多地域的高品质互联。两地三中心多活网络解决方案提供了弹性、安全、高质量的网络能力，结合数据传输服务DTS轻松实现异地多活数据同步等，助力企业构建安全、可扩展、高可用的数据架构。
同时充分利用公有云资源即开即用、按量付费的优势，以最低的成本来实现业务容灾目标。方案部署01部署准备完成账号申请和充值，开通相同云产品账号RAM授权。02规划网络和资源根据异地多活高可靠要求，规划VPC、CEN、ALB等基础网络和资源。03规划云资源开通ECS、云数据库PolarDB、DTS等服务。04部署资源在上海/北京两个地域...
来自：
解决方案
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK（容器服务Kubernetes版，简称ACK）支持企业级K8s容器化应用的全生命周期管理，提供高性能可伸缩的容器应用管理能力，助力企业高效运行云端K8s容器化应用。
Kubernetes 集群中的 Pod 被自动驱逐Pod 被自动驱逐一般为资源不足导致的，磁盘使用 85%左右会触发驱逐，建议针对节点的 cpu 以及内存还有磁盘做个监控，尽量规避驱逐触发请问怎么把已经购买的 ECS 添加的 K8s 集群中？将已有的 ECS 实例（云服务器）加入到集群中，具体操作，请参见添加已有节点。你是怎么使用 K8s 的？...
来自：
云产品
高可用及共享存储Web服务
随着业务规模的增长，数据请求和并发访问量增大、静态文件高频变更，企业需要搭建一个高可用和共享存储的网站架构，以确保网站服务能够7*24小时运行的同时，可保障数据一致性和共享性，并降低数据重复存储的成本。
资源共享一个NAS文件系统可以同时挂载到多个计算节点上，共享文件持久化在NAS上，不同ECS上可共享读/写NAS中的文件。用户和终端也可以通过ECS访问到NAS共享路径中的文件。应用场景电商平台确保用户在购物、下订单、支付等操作时无论何时都能访问，并提供持续可用的服务。同时，服务还负责对订单、库存等重要数据进行共享...
来自：
解决方案
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
任务能运行起来吗，出错了怎么找原因？任务会不会重算、漏算？机器利用能不能衔接上，会不会出现长时间空闲？使用阿里云弹性高性能计算(E-HPC)的批处理处理方案可以解决以上问题，让工作更专注。文档版本：20210811 XLVI 企业上云实践 EHPC药物筛选最佳实践 可以看出，借助E-HPC方案用户仅需要通过以下几个步骤：1.将批处理...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
[root@scc001perseus]#./pre_train_perseus.sh11 使用说明：[root@scc001perseus]#./pre_train_perseus.sh Usage:./pre_train_perseus.shworkersgpus_per_worker 第一个数字指定用几个节点来跑作业，第二个数字指定每个节点用几个 GPU，每个节点最多用 8 个 GPU。例如提交一个 2个节点，每个节点使用 8个 GPU的作业：[root@...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
文档版本：20211222 8 开源 Flink迁移实时计算Flink全托管版 基础环境搭建 1.1.2.Flink集群资源评估 阿里云实时计算 Flink版产品按照 CU 计费，1CU=1Core+4G MEM，参考产品官 方介绍，每个计算 的 CU 节点每秒钟处理能力如下：简单作业(指仅仅进行数据同步，或者在数据同步中涉及一些简单的过滤清洗)1.每个计算 CU 可处理 ...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
通过虚拟节 点使 K8S集群拥有了直接用弹性容器实例 ECI（Elastic Container Instance）Pod 的能力。本章节将分别介绍虚拟节点调用 ECI资源的方式及其应用示例。6.1.虚拟节点调用 ECI资源的方式 虚拟节点部署完成后集群就有了调用 ECI资源的能力，本实践介绍以下三种方法将 Pod调度到虚拟节点上。6.1.1.配置 Pod标签 对于有...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
文档版本：20240419 43 大数据近实时数据投递 MaxCompute 操作步骤 在工作空间 kafka_datahub_demo的数据开发界面，选择临时查询，打开之前创建的 ODPS SQL节点。用新注册的函数 parse_json_str对 datahub_tmp_table表的 message字段（json格 式）进行处理，确认结果正确。SELECT parse_json_str(message)AS(id,time,tags,...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
飞天 AI加速推理工具使用说明 以上 demo展示了使用飞天 AI加速推理工具的简要使用方法，本节将介绍其详细的使 用说明，方便您使用自己的推理应用时参考。4.8.1.单独启动 perseus_inference容器镜像 docker run-runtime=nvidia-it-p 8000:8000-p 8001:8001-vhost_dir:docker_dir registry....
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
主节点部署在 vsw001（华东 1可用区 H），备节点可 用区自动分配。存储类型 local_ssd 本地 SSD盘 实例类型 2 核 4GB具体最大连接数、IOPS信息可（rds.mysql.s2.large）以参考 RDS实例规格族信息：https://help.aliyun.com/docum ent_detail/26312.html 若实际使用过程中发现数据库 资源冗余或紧张，可以随时进 行升降配...
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式，导致容器之间的网 络性能，相比服务器之间直接通信方式，会有一 定程度的下降。阿里云托管版的K8S容器服务， 支持自研的Terway网络插件，该插件可以有效 减少因容器而引入的网络性能下降，可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践，指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
应用范围 学习如何搭建支持多网卡的高性能网络 ACK集群，以及网络性能方面的 PoC测试使 用。名词解释 容器服务 Kubernetes版：阿里云容器服务 Kubernetes版（简称 ACK）提供高性 能可伸缩的容器应用管理服务，支持企业级 Kubernetes容器化应用的生命周期管 理。容器服务 ACK简化集群的搭建和扩容等运维工作，整合阿里云虚拟...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
“节 点与队列”页面支持用户新建或删除队列，本次实验所创建计算节点均纳入 EHPC集 群默认队列“workq”中，计算任务亦提交到 workq队列。后续生产环境可根据生产需要 创建新的队列。文档版本：20220321 5 E-HPC低成本实现量化策略回测 实验背景 自动伸缩 点击 EHPC集群“自动伸缩”子标签，跳转到自动伸缩配置页面。1.3....
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
文档版本：20220915 1 EMR HBase on OSS存算分离集群快速恢复 产品介绍 产品介绍 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可 以方便的对云...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
添加上游根节点：配置完成后，关闭调度配置页面 步骤3 创建 hive节点 选择 EMR-hive节点类型，新建 hive_log节点 文档版本：20201020 35 基于 Dataworks的大数据一站式开发及数据治理 基于 hive的离线分析 配置依赖关系：右键 hive_log节点，选择打开节点，进入编辑页面，输入 hsql语句（从 democode.txt 拷贝内容，注意...
- 产品推荐
- 这些文档可能帮助您