Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
应用范围 需要使用 Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
互联网电商行业离线大数据分析 最佳实践 业务架构 场景描述 本实践介绍了使用阿里云MaxCompute、数据库（RDS）、DataWorks等产品实现电商网站离线数据分 析，分析后的业务指标数据实时在大屏展示。通过完整 的实践Demo为例，提供从电商网站搭建，数据从RDS 同步到MaxCompute、再到DataWorks进行数据分析，最后在大屏上展示...
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
基于弹性供应组构建大数据分析集群最佳实践 业务架构 场景描述 基于弹性供应组（APG）搭建 spark计算集 群，提供一键开启跨售卖方式、跨可用区、跨实例规格的计算集群交付模式的实践。方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用 spot实例 交付，最高可省 90%成本。2.稳定可靠：跨可用域、跨实例...
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
预置近百种图表组件与数十种看板模板，支持不同数据类型展示与分析，满足不同场景需求.预置可视化插件与看板模板.可观测可视化 Grafana 版.应用实时监控服务 ARMS.统一监控大盘.针对多告警源进行统一管理，实现跨平台、跨团队的应急协同.丰富的预置集成组件，覆盖阿里云日志服务SLS、Prometheus、ARMS、开源主流监控系统。...
来自：
云产品
人工智能平台 PAI
阿里云人工智能平台 PAI 涵盖交互式建模、可视化建模、分布式训练到模型在线部署全流程；快速搭建人工智能推荐系统；深度学习模型训练速度提升数十倍；减少50%GPU成本
通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段，提高AI训练和推理的速度、易用性和稳定性，极大提升AI计算的效率.AI加速服务.进一步了解AI加速服务.智算服务 PAI-灵骏.文档与工具.通义千问开源模型在PAI灵骏的最佳实践.PAI-ACC为企业提供AI训练推理加速服务.【重磅-持续更新】阿里云AI开源项目...
来自：
云产品
云原生企业级数据湖
基于对象存储 OSS 构建的数据湖，可对接多种数据输入方式，存储任何规模的结构化、半结构化、非结构化数据，打破数据湖孤岛。无缝对接多种数据分析产品，对存储在对象存储 OSS 中的数据直接进行大数据分析，洞察业务价值。同时，数据湖提供多种存储类型的冷热分层转换能力，通过数据全生命周期管理优化存储成本。
通过多种存储类型实现数据冷热分层，可无缝对接 EMR、PAI 等大数据分析和训练引擎。结合高性能文件存储 CPFS，实现 OSS 与 CPFS 数据双向流通，同时，热点训练数据以透明方式同步到 CPFS，通过 CPFS 的文件语义与机器学习平台 PAI 对接，满足高性能训练场景需求。解决问题：数据孤岛林立不同业务部门由于数据规模、数据类型...
来自：
解决方案
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
b)通过 AnalyticDB for MySQL进行多维数据分析和大屏实时查询。4.业务系统：业务系统通过 DataV数据可视化实现业务指标实时大屏展示。推荐系统捕获用户短期行为偏好事件，推荐用户偏好的类目。文档版本：20220223（发布日期）9 基于 Flink的资讯场景实时数仓 基础环境部署 3.基础环境部署 3.1.CADT部署资源 本节采用云速搭 ...
云行情
阿里云云行情系列产品是为了增加全球资本市场透明度，满足不同层次的客户信息需求。为金融机构、互联网公司、科技公司等行情客户提供端到端的一站式云行情产品服务，有效改进用户体验、降低技术和成本门槛、提升整体效率，助力行业数字化运营、仿真、实盘、高频、投研等方面转型能力提升，协助企业快速搭建稳定高质量的交易所行情基础服务。
以大数据分析和人工智能为支撑，构建网络化、标准化、精细化、智能化的用户运营平台.证券智能营销解决方案.计算资源可随访问量或定时伸缩，提供弹性计算能力的同时降低计算/存储成本、行情数据通过阿里云骨干网络分发，可降低访问延时，增加访问稳定性.证券行情上云解决方案.提供一对一通话、多方音视频会议、互动直播、...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您