Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
产品列表 专有网络 VPC 日志服务 SLS 链路追踪 Tracing Analysis 云服务器 ECS 云数据库 RDS 最佳实践频道 阿里云最佳实践技术分享群 函数计算 FC 消息队列 Kafka 版 性能测试 PTS 云速搭 CADT 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 Function Compute构建...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
使用工具部署函数（可选）本结以 JAVA版本为列，快速通过 Funcraft创建函数，通过这个工具，可以帮助您便 捷地管理函数计算、API 网关、日志服务等资源，快速部署应用。详情请参见功能概 览（https://help.aliyun.com/document_detail/140283.html）。步骤1 准备环境，通过 npm包管理安装，适用于已经预装了 npm的 Windows...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
如下图：需要安装python、git、nodejs等软件，具体安装步骤参见附件中的samplecode.txt 步骤3 修改nginx配置，打开/etc/nginx/nginx.conf，改为如下内容，参见附件中的 sample-nginx.conf 文档版本：20200331 34数据湖-在线学习场景数据分析 应用场景 步骤4 程序启动以后测试页面，在浏览器中打开 http://公网地址/app1/...
云消息队列 MQTT 版
云消息队列 MQTT 版是阿里云专为移动互联网及物联网领域设计的消息产品，可用于直播互动、金融支付等场景，通过支持 MQTT、WebSocket 等协议连接端与云的双向通信，更高效、更可靠。
RocketMQ 5.0 商业化版本重磅发布.MQTT 与 RocketMQ 的应用场景对比.新增专业版实例类型，采用新的计费策略.MQTT 支持为指定 Topic 配置订阅关系清理功能.近期重要功能.更多产品与服务.云消息队列 MQTT Serverless 版实例正式发布！云消息队列 MQTT Serverless 版实例正式发布！查看全部产品.云消息队列 MQTT 版是专为移动...
来自：
云产品
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
su-hadoop schematool-dbType mysql-upgradeSchemaFrom 1.2.0 说明：其中 1.2.0表示从哪个版本开始进行 schema升级，本方案中源 Hive版本为 1.2.2，因此选用 1.2.0作为源版本。执行结果如下图所示：文档版本：20210425 35 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 Hive数据迁移 步骤2 配置 hive-env.sh启动...
Node.js性能平台
Node.js 性能平台（Node.js Performance Platform）是阿里云面向中大型 Node.js 应用提供性能监控、安全提醒、故障排查、性能优化等服务的整体性解决方案。凭借对 Node.js 内核深入的理解，我们提供完善的工具链和服务，协助客户主动、快速发现和定位线上问题。
提供与 Node.js LTS 版本完全兼容的运行时.无侵入式监控.不需要修改任何代码，不需要插入任意探针，即可接入云端监控.外部数据采集.提供 AgentHub，在外部采集性能数据，不影响应用的运行。即使 AgentHub 出现问题，亦不影响应用运行.无需改动代码，即可享受深入到内核级的性能监控.在线生成性能分析资料.GC Trace、堆快照...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您