基于Kubernetes容器集群的容灾架构与方案
本文以Kubernetes集群（包括 容器服务 Kubernetes 版 的ACK集群、第三方云厂商集群和本地IDC集群）为基础，结合阿里云的网络、数据库、中间件及可观测相关云产品，为您介绍如何设计容灾架构和方案，帮助您构建一个更加有“韧性”的系统。...
健康检查服务内容说明
阿里云网络专家团队结合丰富的云上实战经验和最佳实践，分析客户网络架构、配置参数和运行指标的有效程度，评估网络整体的运行效率、健壮性和安全性，指出当前网络架构存在的不足和隐患，针对存在的隐患或问题提供针对性的解决方案，满足...
网络开通流程
当您通过MaxCompute访问位于外网或VPC网络中的目标服务时，默认情况下，MaxCompute与目标服务之间的网络不可达。您需要开通网络连接以便访问外网或VPC中的目标服务（例如指定IP或域名、RDS、HBase集群、Hadoop集群等）。本文为您介绍...
阿里云风险识别和检测最佳实践
阿里云全面风险评估和识别服务 阿里云为企业客户提供云上 全面的风险评估和识别检测服务，具体包括如下内容：资产识别和分析：对信息系统业务及其关键资产进行识别，需要详细识别核心资产的安全属性，分析关键资产在遭受泄密、中断、损害等...
使用星环TDH作为元仓计算引擎进行元仓初始化
Kerberos是一种基于对称密钥技术的身份认证协议，常用于集群各组件间的认证。开启Kerberos能够提升集群的安全性。K如果您选择开启Kerberos认证，需配置 Kerberos配置方式 和 HDFS。Kerberos配置方式 KDC Server：需输入KDC统一服务地址，...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
注册EMR集群至DataWorks
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、周期性调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍如何在DataWorks注册同账号或跨账号的EMR集群...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...
大模型技术服务内容说明
技术实现架构设计 基于场景需求完成技术架构方案设计，确认大模型的实施技术架构。数据和知识库准备 整理大模型所需的数据（知识库）并形成清单,进行数据和素材准备工作。效果优化工程 1.产品部署相关工作支持和链路测试。2.进行工程化调优...
关键技术竞争力
统一容器网络 RAMA：支持复杂场景部署，兼顾灵活性与高性能 在专有云 PaaS 输出场景，落地的重点往往是底层异构基础设施的适配，比如网络、存储等，K8s 虽然定义了通用的容器网络接口 CNI，但却把实现的复杂度留给了具体的网络插件。...
Hudi
如果没有显示指定，hudi会根据提交元数据动态估计record大小.Hadoop参数 名称 说明 默认值 备注 hadoop.${you option key} 通过hadoop.前缀指定hadoop配置项。无 支持同时指定多个hadoop配置项。说明 从Hudi 0.12.0开始支持，针对跨集群...
Apache Impala（CDH6）查询OSS数据
本文将详解如何配置CDH6环境下的Hadoop、Hive、Spark、Impala等组件，以实现对接阿里云OSS存储服务进行数据查询操作。前提条件 已搭建CDH6 集群。具体操作，请参见 安装指南。本文以CDH6.0.1版本为例。步骤一：增加OSS配置 通过集群管理...
安全设计原则
当企业基于云的SaaS、PaaS、IaaS构建业务系统时，需时刻遵循安全最小化原则，包括：网络最小化原则：尽可能少的开放公网访问入口，尽可能小范围的控制端口开放，尽可能的使用VPC或子网对网络进行最小分段，并进行网段的隔离和监控；身份...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...
E-MapReduce支持倚天云服务器
大数据场景下倚天架构与X86架构对比 在相同规格下X86架构的ECS实例和基于倚天架构的ECS实例上进行了基准测试，可以看到在大数据业务场景下倚天架构实例比基于x86架构实例算力性价比更高。降低硬件成本 相比于X86架构ECS实例成本，倚天架构...
网络架构容灾
网络是数字世界的基础设施，没有网络的联通，所有信息都无法交互，因此网络架构的设计在应用系统中至关重要，特别是针对网络架构的高可用及容灾能力的设计，是业务在异常发生时，实现快速恢复、降低业务损失的关键。云上网络规划设计 为...
合作伙伴及开源生态
战略合作伙伴 蚂蚁集团除了与众多行内 ISV 进行合作外，还与众多的金融机构达成了战略合作协议，在场景、技术上进行深度合作，特别是在金融科技、分布式架构上与各金融机构进行联合创新，形成金融科技开放生态。目前，蚂蚁集团对外开放的...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
功能发布记录
24 配置身份源 通过办公安全平台保障IDaaS用户安全访问 通过IDaaS同步钉钉数据到SASE 通过办公安全平台保障LDAP用户安全访问 内网访问 新增 内网访问是基于软件定义边界SDP（Software Defined Perimeter）技术，打造SaaS化零信任网络访问...
什么是OSS-HDFS服务
基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS...
对接使用CDH与CDP
DataWorks 提供了与CDH（Cloudera's Distribution Including Apache Hadoop，以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务...
使用ID²-KM将设备接入阿里云物联网平台
本文介绍了设备如何通过更安全的身份认证方式（ID²）连接到阿里云物联网平台，并建立安全传输通道。1.术语 Soft-KM（Key Management）密钥管理，由阿里提供的软件安全沙箱，基于软件加固和虚拟化技术提供对密钥（IoT ID²）的安全保护。...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
Iceberg概述
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
基于云SSO实现多账号单点登录
此方案基于云SSO的产品能力，提供一种集中化管理企业多账号的身份权限的方式，简化了企业IT管理人员在身份配置上的复杂度，同时降低了因为身份管理不善导致的身份泄露、权限过大的风险。方案概述 当企业采用多账号的云上架构时，配置各个...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
Doris概述
基于Doris构建的统一数仓，替换了原来由Spark、Hive、Kudu、Hbase、Phoenix组成的旧架构，架构大大简化。数据湖联邦查询：通过外表的方式联邦分析位于Hive、Iceberg、Hudi中的数据，在避免数据拷贝的前提下，查询性能大幅提升。技术概述 ...
设备风险SDK Android接入
前提条件 设备风险SDK需在Android 4.0.3+（minSdkVersion版本15+）以上版本的系统运行。为帮助落实针对您产品集成第三方SDK情况所应履行的隐私合规义务，降低隐私违规风险，进而实现您产品合规运营的业务目标，请您务必确保选用阿里云文档...
安全白皮书
实时计算Flink版完全兼容开源Apache Flink API，从访问控制、网络、存储、备份恢复、操作审计等方面，提供全面的安全加固功能来保障您的数据安全。租户隔离 支持多租户的使用场景，通过阿里云账号认证体系（认证方式采用AccessKey对称密钥...
构建运营模型
运营模型是指组织和业务团队使用云计算平台支持业务的过程中，根据业务需求、企业架构、组织文化、现有的技术水平和工具等构建的模型。每个企业的运营模型都是独特的，本文将介绍四种常见的运营模型以供参考。构建运营模型的目的是为了实现...
客户案例
目前，云速搭CADT已成功实现百余家大中小企业上云、降本、提效，涵盖基金、保险、制造、教育、游戏、新零售、企业服务等行业，助力企业业务平稳快速发展。典型客户 客户案例 相关实践 万兴科技是全球领先的数字创意软件公司，为人熟知的...
应用场景
数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-HDFS，集群的YARN服务不再依赖集群本地的HDFS，也不需要使用Core节点组，从而提高了集群的弹性和灵活...
什么是IoT设备身份认证
IoT设备身份认证 ID²（IoT Device ID）是物联网身份管理与数据访问控制系统，通过保障物联网设备的身份安全、软件和数据资产的访问安全以及端到端通信链路的安全，实现数据可信上云和可信上链。产品架构 产品功能 身份管理 为每一个物联网...
常见问题
Trino与Presto的区别与联系是什么？Trino的各个版本有什么区别？Trino在EMR上的部署形态是什么样的？是否支持高可用？Trino如何连接DLF？开启了DLF后是否还能连接MetaStore？默认提供的连接器不够用怎么办？Trino如何访问OSS？是否支持OSS-...
Hive概述
背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明 HiveServer2 HiveQL查询服务器，可以配置为Thrift或者HTTP协议，接收来自JDBC客户端提交的SQL请求，支持多客户端并发...
银行行业
业务架构 架构说明：整个系统架构基于分布式服务化进行应用解耦，实现大平台微应用：渠道模块、开放平台用于对外直面客户，内部按照业务不同划分为存款业务、贷款业务等。通过各平台及运营中台技术支撑各个业务模块。例如：基于数据的运营...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
功能特性
终端管控 终端访问控制系统通过安装MDM证书来对企业办公终端进行统一管理，帮助IT管理员完成可信设备的登记、部署、系统配置管理及保障可信设备安全的设备全生命周期管理能力。UEM维护企业的可信设备列表，并通过OTA的模式来确保办公终端...
云原生可观测服务内容说明
包括基于 ECS 部署架构以及基于 ACK 部署架构的应用层无状态弹性架构能力的设计与落地，以及基于阿里云云原生数据库serverless 能力的数据库层弹性架构设计与落地。应用可观测体系接入实施。基础版与标准版承诺完成 1-2 个典型应用的接入，...
- 产品推荐
- 这些文档可能帮助您