玄武分析型存储
玄武分析存储引擎为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力，是AnalyticDB实现高吞吐实时写入、高性能实时查询的基础支撑。高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层...
2021年
2021-09-14 华南1金融云（深圳）无 MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，...
使用云企业网跨VPC访问文件存储 HDFS 版
通过转发路由器TR（Transit Router）在跨地域专有网络之间，专有网络与本地数据中心间搭建私网通信通道，打造一张灵活、可靠、大规模的企业级云上互连网络。默认场景下，将文件系统挂载到云服务器ECS，需要确保文件系统的挂载点和云服务器...
产品优势
只支持byte[]丰富 TTL 企业级TTL，支持表、行、Cell等多种粒度。支持表和Cell级 只支持表级 强一致 支持强一致、最终一致等多一致性等级。支持 不支持 全局二级索引 内置，查询透明、高性能、按需冗余非索引列。依赖外部组件，复杂 支持，...
创建Doris集群
重要 禁止使用ECS上创建的企业安全组。默认节点组 您可以根据需要选择实例规格，详情请参见 实例规格族。基础配置。配置项 说明 集群名称 集群的名字，长度限制为1~64个字符，仅可使用中文、字母、数字、短划线（-）和下划线（_）。身份...
ALIYUN:EMR:Cluster2
说明 ALIYUN:EMR:Cluster支持基于E-MapReduce产品的旧版API，支持旧版HADOOP、KAFKA、DRUID、ZOOKEEPER、DATA_SCIENCE、GATEWAY等早期的集群类型。ALIYUN:EMR:Cluster2支持基于E-MapReduce产品的新版API（2021-03-20），支持DATALAKE、OLAP...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
什么是EMR on ECS
产品优势 EMR为您提供了相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占...
产品概述
EMR Serverless StarRocks EMR Serverless StarRocks主要在企业级功能方面做了以下增强：全托管的免运维产品服务形态，大大降低了运维和使用的复杂度以及成本。可视化的StarRocks实例管理控制台，使得实例的整体运维和管理更方便。可视化的...
产品简介
EMR Serverless StarRocks EMR Serverless StarRocks主要在企业级功能方面做了以下增强：全托管的免运维产品服务形态，大大降低了运维和使用的复杂度以及成本。可视化的StarRocks实例管理控制台，使得实例的整体运维和管理更方便。可视化的...
计算设置概述
华为 FusionInsight 8.x Hadoop 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB ...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
秒级修改列字符集
在MySQL中，当用户指定列的字符集为UTF-8时，会默认使用utf8mb3字符集，该字符集最大使用3个字节来存储字符。如果用户需要存储表情（emoji）等信息时，则需要将列字符集修改为utf8mb4。一般情况下，修改列字符集需要重建表，耗时较长，且对...
数据湖集群
另外，数据湖集群支持Kyuubi，一个企业级的数据湖计算引擎Gateway，为SparkSQL提供标准化的JDBC接口，可实现多租户和多种计算资源管理方式。域名支持 数据湖集群优化了节点的域名，从原来的 emr-header-1.cluster-13*格式调整为 master-1-1...
HDFS数据源
目前插件中Hive版本为1.1.1，Hadoop版本为2.7.1（Apache适配JDK1.6］，在Hadoop 2.5.0、Hadoop 2.6.0和Hive 1.2.0测试环境中写入正常。重要 HDFS Reader暂不支持单个File多线程并发读取，此处涉及到单个File内部切分算法。离线写 使用HDFS ...
基于eRDMA增强型实例部署Spark集群
驱动安装 具体操作，请参见 在企业级x86实例上配置eRDMA。网络配置 执行以下命令，打开 hosts 文件。vim/etc/hosts 按 i 键进入编辑模式，在配置文件中修改以下内容。192.168.201.83 poc-t5m0 master1 192.168.201.84 poc-t5w0 192.168.201...
2022年
企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）...
大数据型
大数据实例具有以下特点：基于企业级架构提供稳定计算能力，为高效处理计算作业提供保障。网络性能更高（包括单实例最大内网带宽和最大小包转发率），满足业务高峰期实例间的数据交互需求，例如MapReduce计算框架下的Shuffle过程。单磁盘...
机器翻译产品定价
2130 八千万字符资源包 3200 一亿字符资源包 3800 五亿字符资源包 17500 十亿字符资源包 32500 十五亿字符资源包 45000 二十亿字符资源包 55000 二、机器翻译专业版 每月100万字符免费额度 1、后付费 60元/百万字符 2、资源包价格 商品规格...
安全组检查
安全组检查功能同时支持普通安全组和企业级安全组。版本支持说明 云防火墙高级版、企业版和旗舰版均支持安全组检查功能。如果您使用的是免费版云防火墙，您可以选择 立即升级 或 去安全组手动修复。立即升级：购买云防火墙高级版及以上的...
DataWorks On EMR使用说明
模块 说明 相关文档 数据地图 DataWorks数据地图提供了企业级数据管理平台，能够基于统一元数据的底层建设，提供数据对象的管理和盘点的能力，以及数据对象的快速查找和深度理解的能力。数据地图概述 安全中心 数据保护伞 审批中心 安全...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
新建HADOOP_MR任务
本文为您介绍如何基于Dataphin构建HADOOP_MR类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建HADOOP_MR任务 页面。编写并运行代码。在 新建HADOOP_MR任务 对话框...
创建EMR MR节点
hadoop emr hadoop dw hive hadoop dw emr 创建初始数据及JAR资源的存放目录。登录 OSS管理控制台。单击左侧导航栏的 Bucket列表 单击目标Bucket名称，进入 文件管理 页面。本文示例使用的Bucket为 onaliyun-bucket-2。单击 新建目录，创建...
产品优势
阿里云拥有很多基础设施，随用随取的海量弹性资源，简单易用的计算、存储、网络、数据库、大数据服务，是企业天然的灾备中心。利用混合云容灾服务搭建基于阿里云的异地容灾方案是企业业务连续性和数据安全保障的理想选择。总成本低廉 无需...
常见问题
DataFlow集群在配置文件中默认使用GeminiStateBackend，关于GeminiStateBackend的更多高级配置，详情请参见 企业级状态后端存储配置。如何使用开源的StateBackend？DataFlow集群在配置文件中默认使用企业版状态后端（即GeminiStateBackend...
创建Hive数据源
重要 此处填写的配置优先级高于core-site.xml中配置的AccessKey。开启Kerberos Kerberos是一种基于对称密钥技术的身份认证协议，可以为其他服务提供身份认证功能，且支持SSO（即客户端身份认证后，可以访问多个服务，例如HBase和HDFS）。...
新建ArgoDB计算源
说明 优先级队列是通过在Hadoop集群上创建不同的Yarn队列来分配资源。对应不同的任务的优先级，把相关的优先级的任务发送到对应的Yarn的队列来执行。e.ArgoDB元数据连接信息。参数 描述 元数据获取方式 支持从元数据库获取和HMS获取方式。...
数据格式描述文件
{"dataSource":,"parser":{"type":,"parseSpec":{"format":,"timestampSpec":{},"dimensionsSpec":{} } },"metricsSpec":{},"granularitySpec":{} } 键 格式 描述 是否必须 dataSource 字符串 数据源的名称。是 parser JSON对象 数据的解析...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
新建Flink计算源
包括E-MapReduce5.x、CDH5.x Hadoop、CDH6.x Hadoop、Cloudera Data Platform 7.x、亚信DP5.3 Hadoop、星环TDH 6.x Hadoop。重要 通常情况下，未选择集群类型也能够测试连接通过；个别情况未选择可能导致测试连接失败，建议进行选择。Flink...
使用限制
域名（Zone）格式限制 最大长度200字符，最小级数为1 说明 按“.”分割级数，例如，a 为1级，a.b 为2级，a.b.c 为3级，以此类推。域名（Zone）级数最大为16级 主机记录级数最大为20级 说明 即完整域名（FQDN）的最大级数为36级。顶级域名...
最佳实践概览
ES-Hadoop使用 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据 通过ES-Hadoop将HDFS中的数据写入Elasticsearch 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 ...
CreateCen-创建云企业网实例
云企业网实例是管理一体化网络的基础资源。一个云企业网实例管理一张网络，可覆盖一个或多个地域。在实现网络实例互通前，您需要先调用CreateCen接口创建一个云企业网实例。接口说明 CreateCen 接口属于异步接口，即系统会先返回一个云企业...
多地域VBR等价路由
企业版转发路由器路由选择规则 路由选择默认规则 企业版转发路由器路由表从多个VBR实例学习到相同目标网段的路由条目后（这些路由条目需不与企业版转发路由器路由表下其他已存在的路由条目冲突），系统将按照路由条目属性的优先级从高到低...
CreateTransitRouter-创建企业版转发路由器实例
调用CreateTransitRouter接口创建企业版转发路由器实例。接口说明 您可以通过调用 CreateTransitRouter 接口创建企业版转发路由器实例。当前企业版转发路由器只在部分地域开放，关于地域的详细信息，请参见 什么是云企业网。...
MaxCompute/Hadoop物理视图和字段详情
本文为您介绍如何查看计算引擎为MaxCompute、Hadoop 时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。MaxCompute、Hadoop 引擎的物理视图展示信息基本一致，下图以MaxCompute物理视图为例。编号 描述 ① ...
修改集群模版
hadoop-log4j","properties":{"hadoop.log.file":"hadoop1.log","hadoop.root.logger":"INFO","a.b.c":"ABC"}}]软件自定义配置。（集群启动前，可以指定一个JSON文件修改软件配置。EasEnable Boolean 否 true 是否高安全集群，取值如下：...
ListTables-获取元数据表列表
元数据表名称，正则表达式匹配.*NextPageToken string 否 翻页 token，从返回结果返回，无则传空字符串或'' '' PageSize integer 否 每页大小 10 DatabaseName string 否 元数据库名称 database_test TableType string 否 元数据表的类型：...
- 产品推荐
- 这些文档可能帮助您