基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
但同时，它和其他的分 布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统，适合部署 在廉价的机器上。HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上 的应用。实时计算：实时计算（Alibaba Cloud Realtime Compute，Powered by Ververica）是阿里云提供的基于 Apache Flink 构建的企业级大数据计算...
资源编排ROS
资源编排ROS（Resource Orchestration）是一种简单易用的云计算资源管理和自动化运维服务。用户通过模板描述多个云计算资源的依赖关系、配置等，并自动完成所有资源的创建和配置，以达到自动化部署、运维等目的。编排模板同时也是一种标准化的资源和应用交付方式，并且可以随时编辑修改，使基础设施即代码（Infrastructure as Code）成为可能。
与在控制台创建的资源有区别吗？资源编排模板详解.阿里云资源编排服务Python SDK使用入门.一键创建包年包月ECS实例.\\b最佳实践.产品概述及功能.资源编排（Resource Orchestration）是一种简单易用的云计算资源管理和自动化运维服务。用户通过模板描述多个云计算资源的依赖关系、配置等，并自动完成所有资源的创建和配置，...
来自：
云产品
低代码电商直播间解决方案
低代码电商直播间解决方案,基于阿里云云原生、音视频、AI 智能算法和网络等先进技术，通过低代码方式接入，帮助企业快速完成在自有 APP、小程序、网站等平台的私域电商直播间的搭建。其易接入且强扩展的特性，既可以满足企业定制需求，又可以降低时间成本，快速验证直播卖货商业模式。
互动课堂低代码接入流程>.SDK 参考>.API 参考>.摩托范 APP 是摩托爱好者的聚集地。用户对于在线观展、在线讲车、车友互动的需求日益凸显，摩托范需要快速上线电商直播服务满足用户需求。本方案在客户排期紧开发经验不足的情况下，采用一体化 SDK 帮助客户快速上线直播间，通过视频 AI 能力、丰富的 CDN 节点和带宽输出能力...
来自：
解决方案
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
实际生产环境建议 使用已部署了阿里云 CLI或者 SDK的自定义镜像创建 ECS实例，避免实例在无公网 访问的条件下无法加载相关依赖。2.2.1.创建资源 参考 https://help.aliyun.com/document_detail/87190.html 使用向导创建 2台 ECS。（ECS所属相同的 VPC，不需要分配公网 IP，安全组开放 22端口远程访问）参考 ...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
企业构建统一 CMDB数据源 部署架构 场景描述 现今企业大多采用多云架构来部署云上应用，以提升应用的稳定性，但多云架构就意味着 没有任何一个云平台的管控体系能完整支持 企业的资源管理需求。企业往往自建统一的资 源管理平台或使用第三方服务商提供的多云 资源管理软件。资源管理平台（CMDB）最重 要的是构建完整可靠的...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
风险提示 Navigator API应用改造 有些应用程序可能会调用 Navigator API，请按需改造为 Ranger API或者 Atlas API。Ranger无法查到历史审计数据 如果要访问升级之前的历史审计记录，只能在 CDP 上保留一个“只读”的 Navigator实例，直到不再需要它为止。必须确保升级后 CDP上的 Navigator处于“只读”状态 ￚ 删除用户的写...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
弹性实例和性能实例都支持按量计费方式，唯一的区别在于，性能实例的最小计费时 长为 1min，弹性实例的最小计费时长为百毫秒(很快会变更为毫秒计费)。当性能实例 运行时长不足 1min 时，统一按 1min 时长计费，如果超出 1min，则将实际运行时长 round 到百毫秒整数倍计费，例如：函数运行时长 30ms、1s、20s、59s、60s等，...
利用交互式分析(Hologres)进行数据查询
场景描述 随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
如果您使用的是 DataWorks 创建的标准模式下的 MaxCompute 项目，在填写 project_name时，请注意区分生产环境与开发环境（_dev）项目名称，详情请参 文档版本：20220330 51 利用交互式分析工具进行数据查询 解决方案系统搭建 见简单模式和标准模式的区别。odps_config.ini文件中使用#作为注释。MaxCompute客户端内的命令行...
云控制API
云控制API（CloudControl API）是基于阿里云API的一款免费开发者工具，能够让开发者以面向对象的云API开发方式集成阿里云，通过免费的5个资源化API和一套SDK完成持续集成。
基础API能力.ListProducts（查看产品列表）、ListResourceTypes（查看资源类型）、CreateResource（创建资源）、UpdateResource（更新资源）、GetResource（查询指定资源）、ListResources（列举资源）、DeleteResource（删除资源）.进阶API能力.GetTask（查询异步任务）、ListDataSources（查询资源可选值）.可以通过五个...
来自：
云产品
音视频终端 SDK
音视频终端 SDK集成了阿里云视频直播和视频点播业务中拍摄、编辑、上传、推流和播放的核心能力，同时融合视频特效、音频特效等音视频AI能力，为用户提供一体化SDK，支持多终端接入，搭配产品级Demo，支持用户根据业务需求快速集成所需
快速了解音视频终端 SDK.SDK License 操作指南.SDK 版本选择和集成.SDK 下载.了解计费组成.图片56*56(不可与icon共存）.图片logo.icon名称(不可与图片logo共存）.icon名称.不填写不展示.更多产品与服务.Demo体验.Demo体验.Demo体验.音视频终端智能方案限时免费试用.音视频终端智能方案，多种玩法限时免费试用.产品 Demo.音...
来自：
云产品
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
对接API应用网关 步骤1 在大屏应用编辑页面，单击标题名为2024累计销售额的数字翻盘器，在数据源菜 单，按下表说明配置相关参数。 数据源类型：阿里云API网关 选择已有数据源：上一步创建的OpenAPI HTTPMethod：GET 请求URL：填写3.2步骤1记录的total_sales域名后缀 步骤2 勾选使用过滤器，单击新建，设置名称...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
架构优势 全 Serverless架构：函数计算+API 网关+表格存储 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监 控报警等完备的可观测能力。文档版本：20210519 6 新零售商超基于 Serverless服务化改造 基础环境搭建 2.基础环境搭建 ...
- 产品推荐
- 这些文档可能帮助您