基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所 以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增 加，所以就可以通过OSSObjectFC的方案，在不同的终端请求时，对OSS中的原图基于终端 的要求做实时处理，然后响应返回，这样OSS中只需要存储...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
配置项 说明 记录类型 A 主机记录 填写步骤 5中获得的 Ingress域名的主机记录，示例中 是 nb 记录值 填写步骤 5中获得的 Notebook的 IP地址，示例中是 47.xx.xx.234 成功添加解析记录，新建解析记录自动生效。步骤7 验证域名解析。ping nb.lustre.site 27 企业上云实践 基于弹性计算的 AI推理|部署 Mobilenet推理demo 返回...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
审阅人 毕役、云滴、子关、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-11-20 云魁 云滴、毕役 创建 V1.1 2019-11-25 筱晖-文档优化 增加 HDFS迁移到 OSS和 V1.2 2019-12-25 云魁 子关 JindoFS的方案 V1.3 2020-01-31 云魁 修改概览页场景描述 V1.4 2020-02-07 云魁 更新 VPN网关配置 增加附录，直接通过...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
步骤7 选择示例模板（Resource-Genomics mapping-shared），其中 server配置为记 录的挂载点域名，并单击创建。步骤8 工作流状态显示 Running，单击操作列下的详情，查看工作流详细信息。文档版本：20191127 32 基因计算工作流最佳实践 工作流配置 步骤9 在 argo页面查看工作流信息。文档版本：20191127 33 基因计算工作流...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
敬海、游士 审阅人 子关、期会、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-12-20 云魁 子关、期会、游圣 创建 V1.1 2019-12-25 筱晖 云魁 文档优化 V1.2 2020-01-09 云魁、子关 子关 增加附录 使用 CADT创 V1.3 2021-07-21 游士 建资源，更新部 分命令 文档版本：20210721 I 自建Hive数据仓库跨版本迁移...
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
您可以直接访问堡垒机的公网IP，也可 文档版本：20220210 94传统企业业务上云基础安全防护 堡垒机 以设置一个域名，添加解析A记录，将其指向堡垒机的公网IP地址，然后通过域名访 问堡垒机。6.5.1.登录堡垒机 步骤1 登录云堡垒机控制台，在主机运维下选择要运维的机器，点击登录图标。6.5.2.运维ECS服务器 步骤1 在服务器上...
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段，但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜，都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验，为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
如果被保护的网站 文档版本：20210806 27 企业上云实践 电商网站业务安全最佳实践|开通爬虫风险管理 域名是当前账号开通的，则可以一键解析，自动在域名解析服务中增加一条解析记录；本示例中的域名是其他账号购买的，需要选择手动修改。单击复制 CName，将其保存 到粘贴板，在域名解析服务中需要用到该 CName值。完成后，...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
Alertmanager configuration alerting:alertmanagers:path_prefix:/event/webhook/RAMAK_{ACCESS_KEY_ID}/{WEBHOOK_APP_ID} api_version:v2 static_configs:targets:{ALIYUN_SLS_ENDPOINT} 说明：➢ path_prefix：配置路径信息，此处配置为您在日志服务中创建开放告警服务和应用 后生成的接口信息（子路径部分）。...
利用交互式分析(Hologres)进行数据查询
场景描述 随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
Insert OVERWRITE TABLE log_push_raw PARTITION(pure_date=20220224)Select cast(a[1]as DATE),nvl(a[2],'N/A'),nvl(a[3],'N/A'),nvl(a[4],'N/A'),nvl(a[5],'N/A'),nvl(a[6],'N/A'),nvl(a[7],'N/A'),nvl(a[8],'N/A'),nvl(a[9],'N/A'),nvl(a[10],'N/A')from(SELECT split(concat(SUBSTRING_INDEX(SUBSTRING_INDEX(REGEXP_...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
CREATE TEMPORARY VIEW output_view_temp AS select a.event_time,SUBSTRING(a.event_time,1,10)as event_date,-将 event_time 字段切分，方便后续 PV/UV聚合操作 SUBSTRING(a.event_time,12,2)as event_hour,SUBSTRING(a.event_time,15,2)as event_min,a.imei,a.device_model,d.os,d.os_version,d.device_brand,a.client_...
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
是国内唯一入选 2020 年 Gartner公共云容器报告的产品，并在 2019年 Forrester容器报告中获国内排 名第一；整合了阿里云虚拟化、存储、网络和安全能力，助力企业高效运行云端 Kubernetes容器化应用。详见：https://www.aliyun.com/product/kubernetes 容器镜像服务 ACR：阿里云容器镜像服务（简称 ACR）是面向容器镜像、...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
FnF 通过提供日志记 录和审计来监视工作流的执行，方便您轻松地诊断和调试应用。FnF 简化了开发 和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作，让您聚 焦业务逻辑开发。官网链接：https://help.aliyun.com/document_detail/114020.html 日志服务：日志服务（Log Service，简称 LOG）是针对日志类数据的...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
步骤14 增加域名解析配置。由于在 PiggyMetrics原始的配置文件中，使用了 auth-service作为域名使用，所以需 要在 ECS上配置 auth-service的 IP信息。auth-service的 IP请查看应用列表，选择 文档版本：20200106 58 Spring Cloud Netflix应用迁移 EDAS 微服务应用部署 EDAS环境 auth-service服务查看：然后 SSH登录其它...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
V1.3 2019-11-17 毕役-增加结算章节 V1.4 2019-11-18 筱晖-文档优化 V1.5 2020-01-08 毕役 南园 增加 role角色管理 V1.6 2020-01-22 毕役 增加概览页 V1.7 2020-02-05 毕役 增加资源组分账 V1.8 2020-02-18 毕役 天凯 变更名称 V1.9 2020-03-13 毕役 变更名称 V2.0 2020-05-15 毕役 添加分销账号限制 说明 V2.1 2020-12-23 ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
Host信息可以在 CDH和 CDP的控制台查看(CDP同时配置长域名和短域名)。chattr-i/etc/hosts echo"192.168.10.205 master">>/etc/hosts echo"192.168.10.207 slave1">>/etc/hosts echo"192.168.10.208 slave2">>/etc/hosts echo"192.168.10.206 slave3">>/etc/hosts echo"192.168.10.203 cdp-master-1.c-e34371c2cc31480a cdp-...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
Serverless服务化改造 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 新零售商超基于 Serverless服务化改造 文档编号 212 文档版本 V1.0 版本日期 2021-05-28 文档状态 对外发布 制作人 七凌、墨飏、洛浩、旻苍 审阅人 天裵 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-05-28 七凌、墨飏、洛浩、旻苍...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
tail-fnohup.out 文档版本：20210803（发布日期）29阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 步骤4 查询datahub中是否已有消息，可见消息已正常投递到datahub，观察到数据量在增 加。（说明：刚开始实时流量曲线可能会没有生成）文档版本：20210803（发布日期）30阿里云最佳实践金融大数据WorkShop 最佳实践项目...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
文档版本：20220506（发布日期）18 云上高并发系统改造 RDS数据库初始化 配置项 说明 记录类型 CNAME（将域名指向另外一个域名）主机记录 rds001 记录值 输入 章节 3.1 中记录的 RDS内网地址。TTL值 1分钟 步骤5 状态显示正常，返回 PrivateZone页面。步骤6 单击 Zone（db）操作列下的关联 VPC。步骤7 选择华东 2（上海）...
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云，但想使用阿里云公共云的安全服务；或 者业务系统部署在多个云平台上，想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务，统一管理阿 里云、IDC和它云的资产； 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
所以如 果需要增加网段，在已有的 VPN通道上新增加网段即可。5.3.1.新建阿里云侧 VPN连接 步骤1 创建 VPN连接。文档版本：20200630 35 混合云多云统一安全 统一运维管理 步骤2 填写 IKE配置。步骤3 填写 IPSec配置。文档版本：20200630 36 混合云多云统一安全 统一运维管理 步骤4 发布策略路由。单击确定后，会提示是否发布...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
文档版本：20191223 28 混合云存储构建VMware虚拟化平台 存储阵列系统初始化配置 NAS菜单 NAS菜单位于左侧的菜单栏，将鼠标移动至NAS菜单，即可显示子菜单：文件系统、共享资源、共享、用户/用户组、域、NAS配置、黑白名单。云网关菜单 云网关功能是将本地存储与云端对象存储相连接，通过存储的NFS/CIFS协议与云端 的对象...
- 产品推荐
- 这些文档可能帮助您