Hive
本文主要介绍如何使用DLA Spark访问用户VPC中的Hive集群。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请...
Hive访问EMR HBase数据
本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群（Custom），详情请参见 创建集群。已登录集群，详情请参见 登录集群。Hive通过内表访问HBase 如果HBase中没有...
Hive访问EMR HBase数据
本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群（Custom），详情请参见 创建集群。已登录集群，详情请参见 登录集群。Hive通过内表访问HBase 如果HBase中没有...
Hive连接器
hive.recursive-directories 是否允许从表或分区所在位置的子目录读取数据，类似Hive的 hive.mapred.supports.subdirectories 属性，默认为true。hive.non-managed-table-writes-enabled 是否启用对非托管（外部）Hive表的写入，默认为true...
同步EMR Kafka数据至Hive
本文为您介绍如何使用Flume同步EMR DataFlow集群的数据至EMR DataLake集群的Hive。前提条件 已创建DataLake集群，并且选择了Flume服务，详情请参见 创建集群。已创建DataFlow集群，并且选择了Kafka服务，详情请参见 创建集群。操作步骤 ...
计费方式
默认存储180天内的日志数据。自定义字段配置 WAF日志字段包括：必选字段：日志中必须包含的字段。可选字段：日志中可以自定义是否包含的字段。启用的可选字段越多，所需日志存储容量越大。默认包含全部必选字段和部分可选字段。存储类型 ...
快速使用WAF日志服务
存储类型 默认存储网站域名的全量日志。支持修改。可修改为仅存储拦截日志。WAF支持修改以上默认配置。具体操作，请参见 修改日志设置。前提条件 已开通 高级版、企业版、旗舰版 或 独享版 包年包月WAF实例，或者已开通按量付费WAF实例。已...
快速使用WAF日志服务
存储类型 默认存储网站域名的全量日志。支持修改。可修改为仅存储拦截日志。WAF支持修改以上默认配置。具体操作，请参见 修改日志设置。前提条件 已开通 高级版、企业版、旗舰版 或 独享版 包年包月WAF实例，或者已开通按量付费WAF实例。已...
创建Impala数据源
HMS获取方式 参数 说明 hive-site.xml 上传Hive的hive-site.xml配置文件。DLF获取方式 说明 仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。参数 说明 Endpoint 可选，填写集群在DLF数据中心所在地域的Endpoint，...
JindoTable表或分区访问热度收集
您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据，从而节约整体的存储成本，提高缓存利用效率。前提条件 已创建集群，详情请参见 创建集群。背景信息 JindoTable支持收集访问Hive表的记录，收集的数据保存在SmartData服务的...
JindoTable表或分区访问热度收集
您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据，从而节约整体的存储成本，提高缓存利用效率。前提条件 已创建集群，详情请参见 创建集群。背景信息 JindoTable支持收集访问Hive表的记录，收集的数据保存在SmartData服务的...
JindoTable表或分区访问热度收集
您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据，从而节约整体的存储成本，提高缓存利用效率。前提条件 已创建集群，详情请参见 创建集群。背景信息 JindoTable支持收集访问Hive表的记录，收集的数据保存在SmartData服务的...
JindoTable表或分区访问热度收集
您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据，从而节约整体的存储成本，提高缓存利用效率。前提条件 已创建集群，详情请参见 创建集群。背景信息 JindoTable支持收集访问Hive表的记录，收集的数据保存在SmartData服务的...
JindoTable表或分区访问热度收集
您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据，从而节约整体的存储成本，提高缓存利用效率。前提条件 已创建集群，详情请参见 创建集群。背景信息 JindoTable支持收集访问Hive表的记录，收集的数据保存在SmartData服务的...
JindoTable表或分区访问热度收集
您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据，从而节约整体的存储成本，提高缓存利用效率。前提条件 已创建集群，详情请参见 创建集群。背景信息 JindoTable支持收集访问Hive表的记录，收集的数据保存在SmartData服务的...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
选型配置说明
在生产集群中，建议至少部署两台Master节点以实现集群的高可用，Master节点数大于一台时，自动开启HDFS，YARN和Hive的HA。由于Master节点主要用于存储HDFS元数据，且HDFS元数据存储在内存中，因此，建议根据HDFS中的文件数量选择16GB内存...
在文件存储 HDFS 版上使用Apache Tez
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
在EMR Hive或Spark中访问OSS-HDFS
EMR-3.42及后续版本或EMR-5.8.0及后续版本的集群，支持OSS-HDFS（JindoFS服务）作为数据存储，提供缓存加速服务和Ranger鉴权功能，使得在Hive或Spark等大数据ETL场景将获得更好的性能和HDFS平迁能力。本文为您介绍E-MapReduce（简称EMR）...
通过JDBC方式连接Trino
jdbc:trino:/<主节点名称>:9090/hive#连接数据库，使用名为hive的Catalog和默认的Schema。jdbc:trino:/<主节点名称>:9090/hive/default#连接数据库，使用名为hive的Catalog和名为default的Schema。说明 本文示例中的<主节点名称>，请根据您...
控制台快速入门
对象存储OSS帮助您存储图片、音视频等应用，实现海量数据的互联网并发下载，或者结合智能媒体管理服务和图片处理服务进行云端的数据处理。本文以图片文件为例，为您介绍创建存储空间、上传文件、下载文件、分享文件的快速操作指导。前提...
Hadoop生态外表联邦分析
支持复杂类型,可以访问由数组、映射、结构和联合数据类型组成的Hive表。示例 Hive创建table。hive>CREATE TABLE sales_info_ORC(location string,month string,number_of_orders int,total_sales double)STORED AS ORC;hive>INSERT INTO ...
流式入库
支持流式入库的系统都基本遵循了一个思路，流式数据按照小批量数据写小文件到存储系统，然后定时合并这些文件。例如，Hive和Delta Lake。Kudu也支持流式入库，但是Kudu的存储是自己设计的，不属于基于大数据存储系统之上的解决方案。本文以...
Catalog概述
本文为您介绍什么是...在其他目录下，对 hive_catalog 中的 hive_table 和 default_catalog 中的 olap_table 进行联邦查询。SELECT*FROM hive_catalog.hive_db.hive_table h JOIN default_catalog.olap_db.olap_table o WHERE h.id=o.id;
初始化OTSClient
OTSClient是表格存储服务的客户端，它为调用者提供了一系列的方法，可以用来操作表、读写单行数据、读写多行数据等。使用PHP SDK发起请求，您需要初始化一个OTSClient实例，并根据需要修改OTSClientConfig的默认配置项。注意事项 如果要...
常见问题
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
在参数中使用默认值
通过在CREATE PROCEDURE或CREATE FUNCTION语句中包括DEFAULT子句或使用分配运算符:=，可设置形参的默认值。形参声明的常规形式如下：(name[IN|OUT|IN OUT]data_type[{DEFAULT|:=} expr])name是分配给参数的标识符。IN|OUT|IN OUT指定参数...
2023-06-21版本
云原生内存数据库Tair 支持Hive Kerberos 支持将Flink Jar或Python作业写入开启Kerberos认证的Hive集群中。注册Kerberos集群信息 部署作业 审计日志 平台对接阿里云审计服务，您可以在审计服务平台查看到用户在平台上的操作记录。查看资源...
初始化OTSClient
OTSClient是表格存储服务的客户端，它为调用者提供了一系列的方法，可以用来操作表、读写单行数据、读写多行数据等。使用.NET SDK发起请求，您需要初始化一个OTSClient实例，并根据需要修改OTSClientConfig的默认配置项。注意事项 表格存储...
初始化Client
Client是表格存储服务的客户端，它为调用者提供了一系列的方法，可以用来操作表、单行数据、多行数据等。使用.NET SDK发起请求，您需要初始化一个Client实例，并根据需要修改ClientConfig的默认配置项。准备工作 初始化Client前，您需要...
常见问题
存储空间常见问题 删除OSS中的Bucket时提示“Bucket不为空”OSS跨域资源共享（CORS）错误排除 设置跨域规则后调用OSS时仍然报“No 'Access-Control-Allow-Origin'”的错误 为什么CDN回源私有Bucket时，不支持访问Bucket的默认首页？...
设置数据保留策略
分片时长默认为7天，您可以根据需求来修改存储策略。创建保留策略 登录 TSDB控制台。在页面左上角，选择目标地域。在 实例列表 页面，单击目标实例 操作 列中的 管理。选择 时序数据管理>数据库管理，单击目标数据库 操作 列中的 存储策略...
文件存储NAS SMB ACL概述
NAS SMB ACL卷根目录默认值 文件存储NAS SMB ACL的卷根目录权限默认值如图所示：默认值设计的原因 SYSTEM和Administrators这两个ACL权限项是为了与Windows NTFS的权限对齐，保证管理员权限的程序能够正常运行。同时，在连通阿里云RAM账号...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
目录和文件访问权限
文件存储 HDFS 版 为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
初始化OTSClient
OTSClient是 表格存储 服务的客户端，它为调用者提供了一系列的方法，可以用来操作表、读写单行数据、读写多行数据等。如果要使用宽表模型的操作数据表、读写单行数据、读写多行数据等功能，您需要初始化一个OTSClient实例，并可以根据需要...
通过CNFS方式使用NAS文件系统
功能介绍 可通过以下三种方式使用CNFS托管NAS文件系统：方式一：使用CNFS创建默认NAS文件系统 创建一个默认的CNFS文件系统，并使用NAS动态存储卷自动挂载默认创建的NAS文件系统，同时将NAS动态存储卷绑定到工作负载Deployment和StatefulSet...
通过Spark SQL读Lindorm数据
本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表和宽表的数据。前提条件 已创建Lindorm单可用区实例。具体操作，请参见 创建实例。重要 Lindorm实例需开通宽表引擎、计算引擎、文件引擎。计算引擎开通方式，请参见 开通与变配。已开通...
初始化OTSClient
OTSClient是表格存储服务的客户端，它为调用者提供了一系列的方法，可以用来操作表、读写单行数据、读写多行数据等。使用Python SDK发起请求，您需要初始化一个OTSClient实例，并根据需要修改OTSClient的默认配置项。注意事项 表格存储从...
开启SQL日志审计
SQL日志审计功能默认关闭，您可以在 PolarDB-X 1.0 控制台上手动开启。默认情况下，只对开启SQL日志审计功能之后产生的日志数据进行审计分析，您也可以导入部分历史数据。前提条件 登录 日志服务控制台，根据提示，开通阿里云日志服务。已...
- 产品推荐
- 这些文档可能帮助您