产品架构
本文为您介绍EMR Serverless StarRocks的架构。EMR Serverless StarRocks架构 EMR Serverless StarRocks的产品架构主要由以下三个层次构成：存储层：存算一体版：StarRocks内表使用云盘或本地盘作为数据存储的介质，使用StarRocks Table ...
资源使用优化
容器服务没有管理程序的额外开销，与底层共享操作系统，性能更加优良，系统负载更低，在同等条件下可以运行更多的应用实例，可以更充分地利用系统资源。同时，容器拥有不错的资源隔离与限制能力，可以精确地对应用分配CPU、内存等资源，...
用云成本需求分析
良好的设计弹性架构：在做架构设计时要根据应用的生命周期制定可以弹性伸缩的架构，在业务高峰期通过计算资源的弹性机制增加部署节点，在业务低峰期缩减云资源，能极大提升资源利用率和成本利用最大化。4.通过调研业务部门未来一段时间的...
2022年
基于MaxCompute的智能推荐解决方案 基于MaxCompute+开放搜索的电商、零售行业搜索开发实践 基于MaxCompute+PAI的用户增长方案实践 基于MaxCompute的实时数据处理实践 基于MaxCompute分布式Python能力的大规模数据科学分析 基于MaxCompute+...
功能特性
EIAM 云身份服务 功能集 功能 功能描述 参考文档 钉钉入方向 非敏感数据同步 同步除了手机号、邮箱等敏感字段之外的全部通讯录数据，可扫码配置 钉钉入方向同步 敏感数据同步 同步全部通讯录数据，需创建钉钉企业内部应用 钉钉入方向同步 ...
基于CEN-TR实现企业级云上互联
本方案基于云企业网CEN及转发路由器TR帮客户实现云上网络架构设计及云上内部网络互通，实现合理的云上网络分区设计、简单的运维管理及灵活的弹性扩展。方案概述 随着云计算的普及，越来越多的传统企业客户也在选择把云下的业务系统搬到云上...
什么是网络智能服务
快速了解网络架构 识别网络可达组网 统一运维网络资源 网络拓扑概述 使用专有网络拓扑 使用云企业网拓扑 使用负载均衡拓扑 基础设施性能 性能观测 提供阿里云内及互联网间的网络平均时延数据，为搭建服务时选择地域或可用区提供参考。...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
迁云服务内容说明
云上架构设计 基于上云调研与评估的结果，为客户设计云上技术架构，包含：网络设计：VPC规划、vSwitch规划、IP段规划、IDC到云上网络连通规划。安全设计：基于阿里云安全产品进行安全架构设计，主要包含安全组规范、堡垒机接入、数据库审计...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
安全风险识别和检测
基础架构的风险识别和检测：云上基础架构包含了网络架构和身份体系，要评估和识别当前网络的架构设计方法，是否符合安全最小化原则和纵深防御原则；云平台配置风险识别和检测：企业使用云产品创建的配置文件是否符合安全原则，需要进行识别...
云原生微服务治理服务内容说明
《系统调研报告》《系统评估报告》3 方案设计 针对评估报告，制定针对性的系统改造方案，尊享版服务包包含云产品治理方案、微服务架构治理、发布改造方案、可观测性方案、全链路灰度方案、全链路压测方案、流量防护方案七个条目；...
四川农信
移动互联网快速普及，客户行为与喜好发生巨大变化，银行业务的发展也在与时俱进，业务部门越来越专业，平台经济与共享经济等新模式也推动着金融服务模式的创新，对于核心系统的支撑能力与应变速度提出了新的要求，传统核心的架构设计与技术...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
迁云服务
云上架构设计上云调研与评估 基于上云调研与评估的结果，为客户设计云上技术架构，包含：网络设计：VPC规划、vSwitch规划、IP段规划、IDC到云上网络连通规划。安全设计：基于阿里云安全产品进行安全架构设计，主要包含安全组规范、堡垒机接...
故障演练
对于很多大型企业（如阿里巴巴）来说，经过多年的技术演进，系统工具和架构已经高度垂直化，服务器规模也达到了比较大的体量。当服务规模大于一定量（如10000台）时，小概率的硬件故障每天都会发生。这时如果需要人的干预，系统就无法可靠...
Spark
解决方法：多次刷新堆栈查看Spark应用运行中的问题：如果无法成功调用某些函数，则表示应用中函数逻辑的设计可能引入了热点问题，或函数实现效率较低，建议您优化该部分的业务逻辑。如果无法调用某些Spark，建议通过搜索报错信息来解决。...
什么是实人认证
实人认证采用证件OCR识别技术和人脸识别技术，为您进行身份校验从而保障接入您业务的终端用户提供的身份信息真实且有效。本文介绍了实人认证的功能、产品优势和应用场景。功能概述 实人认证服务为您提供以下功能：实人认证方案 实人认证...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
什么是应用身份服务 IDaaS
什么是 IDaaS 应用身份服务 IDaaS（英文名：Alibaba Cloud IDentity as a Service，简称 IDaaS）是阿里云为企业用户提供的云原生的、经济的、便捷的、标准的身份、权限管理体系。IDaaS 旗下包括 EIAM（Enterprise IAM，用于保护企业内部...
使用Hadoop作为元仓计算引擎进行元仓初始化
元仓初始化即配置Dataphin系统的计算引擎类型并初始化元数据的过程。本文将为您介绍如何使用Hadoop作为元仓计算引擎进行元仓初始化。前提条件 以Hadoop作为元仓时，需开放元数据库或提供Hive Metastore服务，用于获取元数据。背景信息 ...
新建ArgoDB计算源
背景信息 ArgoDB是星环自主研发的分布式分析型数据库，可替代Hadoop+MPP的混合架构。能够使用标准的SQL语法进行业务的建设，并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。更多...
微服务架构设计与治理服务内容说明
微服务治理改造方案设计与验证完成 微服务治理方案设计方案 甲方在线确认《验收报告》微服务架构实施支持服务 基于客户需求完成了微服务架构实施方案的落地 微服务治理方案落地，关联应用完成改造上线 甲方在线确认《验收报告》8....
产品架构
智能媒体管理围绕海量数据、端云拉通、标准统一、智能分析、场景结合、一键处理六个关键点采用分层架构进行设计，分层架构包含处理引擎、元数据管理、场景化封装三层。智能媒体管理采用分层架构进行设计，分层架构包含处理引擎、元数据管理...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
JindoData概述
JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、JindoFSx存储加速系统（原JindoFS Cache模式），JindoSDK大数据万能SDK和全面兼容的生态工具（JindoFuse、JindoDistCp）以及插件支持。JindoData...
迁云咨询服务
乙方收集并评估甲方业务系统的基础设施现状和甲方预期的基础设施目标，分析线下业务系统的弹性计算、网络架构等能力现状，设计甲方业务系统云上的弹性计算、网络架构、传统数据中心到云平台的网络接入方案、网络安全策略等，并根据网络功能...
快速玩转Tablestore入门与实战
现代IM系统中的消息系统架构-架构篇 现代IM系统中的消息系统架构-模型篇 现代IM系统中的消息系统架构-实现篇 Tablestore Timeline：轻松构建千万级IM和Feed流系统 Feed流系统设计-总纲 如何打造千万级Feed流系统 高并发IM系统架构优化实践 ...
浙商证券
解决方案 浙商证券联合恒生电子、阿里云、蚂蚁集团共商分布式架构实现的技术路径，在此全新架构基础上建设的互联网用户中心业务系统。用户中心可以为集团公司范围内的客户信息使用和管理提供支撑，提升客户信息使用价值，夯实数据与系统...
产品简介
API网关（API Gateway），提供API托管服务，覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等API各个生命周期阶段，帮助您快速建设以API为核心的系统架构。构建中台。通过API网关强大的适配和集成能力，可以将各种业务系统的...
迁移服务（MMA）
步骤二：安装并启动MMA服务 MMA网络架构图 MMA作为连接Hive网络环境和MaxCompute之间的中转节点，其网络架构图如下所示。环境准备 计划安装MMA服务的服务器，需满足以下要求：安装JDK 8版本的Java。能够访问Hive MetaStore和Hive Server2，...
SmartData常见问题
支持按照HCFS接口读写数据的组件，例如，Hadoop、Hive、Spark、Flink、Presto、HBase、Impala、Druid、Kafka和Flume。JindoFS吞吐如何？会不会影响Spark或Hive大规模分析计算？JindoFS在适配上充分发挥OSS并发吞吐能力，实现异步并发读取，...
金融大数据
架构优势：合理解决了金融行业内外部数据整合问题 优化了结数据架构分层 提供了高效的数数据加工与服务方式 技术架构 架构说明：阿里云大数据数据仓库解决方案经历了阿里巴巴集团内部的实战验证，完全基于自主研发，且在不断优化、完善，以...
产品概述
PolarDB分布式版产品架构 PolarDB分布式版 采用了基于计算存储分离的Share Nothing系统架构，该架构使用户可以根据业务需要进行分层容量规划，实现大规模扩展。核心组件 元数据服务（Global Meta Service，GMS），主要提供分布式的元数据，...
持续架构优化
通过云原生化改造，企业可以充分利用云的强大能力，从云原生架构中获得更高的系统可用性与可扩展能力，利用云提升发布和运维的效率以及组建成本最优的架构。云原生架构与传统架构的对比 应用容器化 软件交付的困难在于公司环境到客户环境...
基于Hadoop集群支持Delta Lake或Hudi存储机制
MaxCompute基于开源的Hadoop集群提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 MaxCompute基于开源的Hadoop集群和阿里云EMR（E-MapReduce）提供了支持Delta Lake或...
迁移开源HDFS的数据到文件存储 HDFS 版
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。...
基础架构风险分析
网络架构风险 和在IDC面临的风险一样，在云上需要设计网络架构，以便减小网络暴露面和因为网络架构设计不合理导致的网络攻击。网络架构的风险是指由于网络分段、资产暴露、DMZ区设计不合理导致的网络被任意用户访问、内部接口或地址可以被...
网络优化
随着云上应用场景的多样性趋势和复杂度增加，需要从如下几个方面考虑网络优化方案：全球化部署优化 用户业务的全球化布局，带来了基础设施的全球化部署需求。阿里云为全球部署的场景提供了 云企业网 CEN（Cloud Enterprise Network）和 ...
- 产品推荐
- 这些文档可能帮助您