HIVECLI
使用资源中心中的Hive SQL文件 该示例演示了如何使用资源中心中的Hive SQL文件来执行任务。在本例中，先在 资源中心 中定义了 sql 类型的文件（例如，hive.sql），然后在 程序类型 下拉列表中选择 选择资源中心文件，在 资源 下拉列表中...
文件系统存储类型
归档存储 数据审计 若您需要满足合规要求，对数据存储的保留期限有长期需求。例如，在医疗行业中，一些患者的记录需要保留6年或更久；在金融行业中，一些交易数据需要保留5年以上。采用归档存储方案能够帮助您轻松管理冷数据并降低存储成本...
使用E-Mapreduce访问
在配置项 javax.jdo.option.ConnectionURL 中，获取MySQL服务的主机名和元数据存储的数据库。在配置项 javax.jdo.option.ConnectionUserName 中，获取MySQL服务的用户名。在配置项 javax.jdo.option.ConnectionPassword 中，获取MySQL服务...
通过LOCALITY指定存储位置（DRDS模式）
PolarDB-X 支持通过LOCALITY关键字来指定数据库或单表的存储位置，以实现数据隔离或数据的均匀分布。本文介绍了DRDS模式数据库中使用LOCALITY的方法。本语法仅适用于DRDS模式数据库。前提条件 实例版本需为5.4.10或以上。关于如何查看实例...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
Paimon与Hive集成
E-MapReduce支持在Hive中查询Paimon数据。本文通过示例为您介绍如何在Hive中查询Paimon中的数据。使用限制 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本的集群，支持在Hive中查询Paimon中的数据。操作步骤 查询Hive Catalog与DLF Catalog中...
环境准备
使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包，可以直接使用Hive及HadoopMR来访问表格存储中的数据并进行数据分析。安装JDK-7+下载并安装JDK-7+安装包。Linux/macOS系统：使用系统自带的包...
DAS企业版介绍
开通DAS企业版后，默认的 数据存储时长 为1个月，您可以根据自己的需要进行修改，具体请参见 管理DAS企业版。说明 SQL洞察 功能中分析和统计数据（不包括SQL明细数据）的存储时长最长为90天：如果对应实例DAS专业版设置的存储时长小于等于...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
Dataphin将csv文件同步到hive库，目标hive库字段值为...
产品名称 Dataphin 产品模块 数据集成 概述 通过该问题的分析处理过程，提供以下场景问题处理排查思路和注意点：管道任务数据集成到hive之后，hive库查询集成数据为空 问题描述 将本地csv文件数据集成到hive库中，任务运行成功，但是查询...
Dataphin集成任务同步数据到Hive报错“GSS initiate ...
问题描述 Dataphin集成任务同步数据到Hive报错“GSS initiate failed”。问题原因 Hive数据源kerberos认证没有成功。解决方案 检查Hive数据源的连通性以及集群认证的相关票证是否正常。适用于 Dataphin
概述
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...
混合存储型（已停售）
实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很大的关系：实例规格越高，内存数据的访问比重越高，性能就越强。理想的场景中，所有的访问都命中内存，此时实例性能与Redis社区版实例基本一致；反之，在内存命中率...
功能特性
按时间点恢复RDS数据 按时间点恢复PolarDB数据 按时间点恢复MongoDB数据 按时间点恢复Redis数据 按时间点恢复Tair数据 存储能力 温备份存储 提供性能适中、价格适中的备份存储。DBS内置存储 备份数据清理 支持TTL过期系统自动删除备份数据...
性能测试
写入耗时的测试结果如下：数据库 写入耗时 云原生多模数据库 Lindorm Ganos引擎 7分钟 开源GeoMesa（HBase）13分钟 云数据库MongoDB分片集群 34分钟 创建时空索引后的时空数据存储空间占用情况 创建时空主键索引场景中，Lindorm Ganos引擎...
查询Delta表数据
hive 执行以下命令，在Hive中查看Delta表的数据。select*from delta_table;返回如下信息。2 3 4 0 1 Time taken:2.937 seconds,Fetched:5 row(s)说明 查看数据与在Spark中插入的数据一致，说明Hive已经成功访问了Delta表的数据。通过Presto...
数据治理
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
数据归档概述
指定归档位置 无需关注数据存储的具体位置。需要指定OSS。不需要指定OSS。系统会自动在DBS中创建一个备份计划，将数据归档至OSS。表结构变化 表结构不变化。表结构不变化。说明 在云原生数据湖分析DLA中查询已归档数据，列的顺序可能会发生...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
企业版产品系列
集群中所有的数据文件都存放在共享存储（PolarStore）中，各个主节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据文件。用户可以通过集群地址访问整个集群，数据库代理会自动转发SQL命令到正确的主节点。多主...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
DBMS_LOB
offset 开始返回数据时大对象中的位置。第一个字节或字符的位置是1。默认值为1。data 用于返回部分被读取的大对象内容。如果参数 lob_loc 是BLOB类型大对象，那么 data 必须是RAW类型。如果参数 lob_loc 是CLOB类型大对象，那么 data 必须...
DLA Lakehouse实时入湖
数据存储格式 数据的存储格式固定为HUDI。源端实例引擎类型 数据源的引擎类型。当前仅支持MySQL引擎。任务执行Spark虚拟集群 执行Spark作业的虚拟集群。目前入湖⼯作负载在DLA Spark的虚拟集群中运行。如果您还未创建虚拟集群，请进行创建...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
数据节点管理
在弹框中输入资源池名称，在高级选项中可以选择数据节点，支持将_recyle存储资源池中的数据节点关联到新建的自定义存储资源池。默认可以不选择，等自定义存储资源池创建后通过增加数据节点的方式添加数据节点。单击 确定。创建完成后可在...
时序模型计量计费
时间线数据包括产生数据的时间和对应的数据值，是时序模型中数据存储与读写操作的主要计费部分。其中数据存储支持选择高性能存储或者容量型存储，读写操作按照容量型进行计量计费。时间线元数据也称为时间序列元数据，表示一条时间线的标识...
Flink Table Store与Hive集成
E-MapReduce的Flink Table Store服务支持在Hive中查询数据。本文通过示例为您介绍如何在Hive中查询Flink Table Store中的数据。使用限制 仅EMR-3.45.0版本、EMR-5.11.0版本的集群，支持在Hive中查询Flink Table Store中的数据。操作步骤 ...
时序分析存储概述
分析存储与时序表的数据存储相互独立，允许用户自定义数据的生命周期（TTL），对分析存储的查询操作不会对时序表的读写性能产生影响。分析存储能够自动同步时序表数据，在数据写入速率稳定的情况下，同步操作的延迟通常在10分钟内，如果...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
Hive调研工具准备
该文档描述了云迁移中心CMH的Hive调研工具使用的准备工作，通过这篇文档，您将了解到工具安装和使用的限制条件。名词解释 工具服务器 表示用户安装Hive调研工具（简称hive-scanner）的机器。用户授权 Hive扫描工具（简称hive-scanner）需要...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
存储冗余概述
存储冗余类型对比 本地冗余存储和同城冗余存储的数据持久性和服务可用性的对比如下。存储冗余类型 Bucket地域属性 存储类型 数据持久性 服务可用性 本地冗余存储 有地域属性Bucket 标准存储 99.999999999%（11个9）99.99%低频访问存储 99....
设置数据保留策略
InfluxDB的数据保留策略可以定义数据在InfluxDB中保存时间，本文介绍如何设置数据保留策略。前提条件 已创建数据库。具体操作，请参见 创建数据库。数据保留策略介绍 InfluxDB可以通过定义数据保留策略，用来控制存储数据量的方式。新创建...
查询账单
本文介绍如何查看在使用...在 计费项 为 SQL洞察和审计-冷存储 的消费明细中，查看数据冷存储的费用。在 计费项 为 SQL洞察和审计-热存储 的消费明细中，查看数据热存储的费用。在 计费项 为 查询数据量 的消费明细中，查看数据查询的费用。
2020-10-27版本
支持Hive Metastore：可读取Hive中维护的元数据信息，便于统一管理元数据。详情请参见 管理Hive Catalog。重要 仅支持Hive Metastore 2.3.6版本。Hive Metastore暂不支持Kerberos方式认证。支持快速配置监控告警：您可以直接在Flink全托管...
引擎功能
数据存储默认采用多副本策略，充分保证数据的可用性。数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势...
配置Hive开启Ranger权限控制
示例二：表权限配置 Ranger Hive中表的创建权限可以配置到表级别，例如配置 database=testdb、table=test 和 column=*的 Create 权限时，用户仅具有 test 这张表的创建权限，不能创建其他表。如果您希望配置用户能在Database下自由创建所有...
Hive访问Delta Lake和Hudi数据
本文通过示例为您介绍如何使用EMR上的Hive访问Delta Lake和Hudi数据。前提条件 已创建包含Hive、Delta Lake和Hudi服务的集群，详情请参见 创建集群。已登录集群，详情请参见 登录集群。使用限制 EMR-3.36.0及后续版本和EMR-5.2.0及后续版本...
文件存储 HDFS 版和数据库MySQL双向数据迁移
背景信息 Sqoop 是一款开源的工具，主要用于在Hadoop和结构化数据存储（例如关系数据库）之间高效传输批量数据。既可以将一个关系型数据库（MySQL、Oracle、Postgres等）中的数据导入 文件存储 HDFS 版 中，也可以将 文件存储 HDFS 版 的...
数据建模
本文介绍Lindorm时序引擎数据建模的过程。创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认...时序引擎底层数据存储实现了对多值模型数据的存储优化，建议您将单值模型更改为多值模型，让数据读取更加高效。
- 产品推荐
- 这些文档可能帮助您