Hudi数据源
hive.metastore.type 否 配置MetaStore类型，默认为空，表示使用Hive MetaStore的元数据。当需要使用DLF的元数据时，请设置参数值为 dlf。dlf.catalog.id 否 DLF数据目录ID。仅当 hive.metastore.type 配置为 dlf 时需要填写该参数。如果未...
Trino使用JindoSDK查询OSS-HDFS服务中的数据
具体操作，请参见 Hive使用JindoSDK处理OSS-HDFS服务中的数据。登录Trino控制台。trino-server<Trino_server_address>:<Trino_server_port>-catalog hive 创建OSS中的schema。create schema testDB with(location='oss:/<Bucket>....
Iceberg数据源
使用Hive MetaStore则设置该参数为 HIVE。iceberg.catalog.hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/<Hive MetaStore的IP地址>:<端口号>，端口号默认为9083。自定义元数据服务 如果使用自定义元数据服务，则需要您在...
创建Impala数据源
使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。...
Spark UDF
本文档主要介绍了如何在Spark中管理并使用用户自定义函数UDF（User Define Function）。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB ...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
为什么云存储网关与OSS上的文件不一致
基于API触发的单次反向同步 除了使用过程中自动触发的元数据同步，针对同步指定目录下文件的需求，您还可以通过调用API的方式主动地触发指定文件夹的同步。云存储网关会将以OSS上该文件夹的元数据为基准与本地同步，同步任务完成后该目录下...
Spark/Hive/HDFS使用JindoSDK访问OSS-HDFS服务
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详细信息请参见 OSS-HDFS服务概述。...
功能特性
服务器端加密 客户端加密 OSS客户端加密是在数据上传至OSS之前，由用户在本地对数据进行加密处理，确保只有密钥持有者才能解密数据，增强数据在传输和存储过程中的安全性。客户端加密 合规保留策略 OSS保留策略具有WORM（Write Once Read ...
计费常见问题
合计基准容量=文件系统规格用量数据（容量型使用量/性能型使用量/高级型使用量/低频存储使用量）×对应的资源包折算系数-已购通用型NAS资源包容量 例如，您领取了一个通用型NAS资源包（50 GiB，3个月），在一个计费周期内，您账号下的容量...
流式入库
其主要原因如下：Hive事务的实现修改了底层文件，导致公共的存储格式等仅能够被Hive读取，导致很多使用SparkSQL、Presto等进行数据分析的用户无法使用该功能。Hive事务目前仅支持ORC。Hive的模式为Merge-on-read，需要对小文件进行Sort-...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
通过SDK使用分析存储
如果使用过程中遇到问题，请通过钉钉加入用户群 物联网存储 IoTstore 开发者交流群 联系我们。准备工作 已创建时序模型实例。具体操作，请参见 创建时序模型实例。已初始化客户端。具体操作，请参见 初始化Client。接口 接口 描述 ...
数据备份概述
说明 如果使用过程中遇到问题，请通过钉钉加入用户群11789671（表格存储技术交流群）、23307953（表格存储技术交流群-2）或者36165029092（表格存储技术交流群-3）联系我们。准备工作 已开通 云备份 服务。具体操作，请参见 开通云备份。已...
通过控制台使用分析存储
如果使用过程中遇到问题，请通过钉钉加入用户群 物联网存储 IoTstore 开发者交流群 联系我们。步骤一：创建时序模型实例 创建时序模型实例时，表格存储会自动为实例开启分析存储功能。登录 表格存储控制台。在页面上方，选择资源组和地域。...
生命周期管理概述
全部数据存储在低频存储或归档存储节省的存储费用（费用A）读写低频存储或归档存储中的数据产生的流量费用（费用B）（通用型NAS存储单价-低频存储单价或归档存储）×预估存储容量 文件存储NAS的存储单价，请参见 文件存储NAS产品定价。...
SQL支持功能说明
重要 如果在使用过程中遇到问题，请加入钉钉群23307953（表格存储技术交流群-2）或36165029092（表格存储技术支持群-3）联系我们。SQL语句 描述 支持情况 CREATE TABLE 当数据表存在时，创建表的映射关系。支持 当多元索引存在时，创建多元...
通过控制台使用时序模型
如果使用过程中遇到问题，请通过钉钉加入用户群44327024（物联网存储 IoTstore 开发者交流群）联系我们。步骤一：开通 表格存储 服务 如果已经开通表格存储服务，请跳过此操作。服务仅需开通一次，开通过程免费。登录 表格存储产品详情页。...
如何使用OSS更省钱？
如使用过程中涉及OSS其他功能，可能触发其他对应的计费项。更多信息，请参见 计费项。案例说明 用户A在OSS某个Bucket内以标准存储-本地冗余类型存储了100 TB的数据。当访问不同比例的数据时，该用户的每月成本说明如下：存储类型 数据总量 ...
快速玩转Tablestore入门与实战
TableStore时序数据存储-架构篇 基于Tablestore实现海量运动轨迹数据存储 药品监管系统架构揭秘：海量溯源数据存储与查询 基于Tablestore实现海量摩托车的轨迹管理 超级快递——如何用系统来保证快递准时送达 科学大数据 多维的网格数据是...
时序模型介绍
如果使用过程中遇到问题，请通过钉钉加入用户群44327024（物联网存储 IoTstore 开发者交流群）联系我们。接口说明 分类 接口 描述 时序表管控接口 CreateTimeseriesTable 创建一张时序表。ListTimeseriesTable 获取当前实例下的时序表列表...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。使用Jindo...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。使用Jindo...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。使用Jindo...
资源包概述
同城冗余存储类型的OSS文件的存储费用 流量包 抵扣OSS使用过程中产生的 流量 费用 下行流量包 抵扣数据通过互联网从OSS传输到客户端所产生的流量费用 回源流量包 抵扣数据从OSS传输到CDN边缘节点所产生的回源流量费用 传输加速包 抵扣用户...
配置Hive输出组件
Hive输出组件用于向Hive数据源写入数据。同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 ...
如何优化高并发IM系统架构
说明 主键列结构在使用过程中不能修改。属性列 属性由多个属性列组成。每行的属性列个数没有限制，即每行的属性列可不同。一个属性列在某一行的值可为空。同一个属性列的值可以有多种数据类型。属性列可以保存消息内容和元数据等。挑战 此...
使用须知
建议使用Hive Metastore来管理数据源的元数据，具体请参见 访问Hive数据。Spark SQL lindorm_columnar 读写Lindorm列存使用的数据源。访问Lindorm列存数据（邀测中）lindorm_table 读写Lindorm宽表引擎使用的数据源。访问宽表数据 lindorm_...
使用表格存储过程中返回503错误码
问题描述 在使用表格存储的过程中，偶尔会出现503错误，详细错误信息请参见下表。HTTPStatus ErrorCode ErrorMsg 503 OTSPartitionUnavailable The partition is not available.503 OTSServerUnavailable Server is not available.503 ...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
OSS/OSS-HDFS授权
对于使用Hive、Spark服务的用户，无论是否开启多版本都需要配置 oss:ListObjectVersions、oss:DeleteObjectVersion，EMR对于一些常见的临时目录，例如"_temporary"、".staging"、".hive-staging"和"_magic"会触发多版本操作。自定义权限...
EMR发行版本服务差异
EMR-4.x系列从EMR-4.10.1之后停止发布新版本，如果您希望使用Hive 2.x配合Spark 3.x，请使用EMR-3.x系列的EMR-3.42.0及之后版本。下表为您介绍EMR各发行版本之间的服务差异。具体各版本支持服务详情请参见各系列下的版本说明。服务 EMR-3....
Hive 资源发现
该文档描述了云迁移中心CMH的Hive调研服务的使用过程，通过这篇文档，将带您使用我们的工具hive-scanner，并且一步步完成hive的迁移对象发现。环境检查 在您执行 hive-scanner 之前，您需要提前完成前期的 hive调研工具准备。确保当前您...
操作指南FAQ
本文介绍使用云存储网关过程中的常见问题。云上部署FAQ 创建网关时找不到可用交换机如何处理？云存储网关升级失败了该如何处理？本地部署FAQ 如何检测网关网络的联通性？如何在本地数据中心部署云存储网关？云存储网关升级失败了该如何处理...
Serverless Presto概述
Serverless Presto是云原生数据湖团队基于Presto打造的交互式分析引擎，Presto开发的初衷就是为了解决使用Hive来进行在线分析速度太慢的问题，因此它采用全内存流水线化的执行引擎，相较于其它引擎会把中间数据落盘的执行方式，Presto在...
Tez
背景信息 Tez主要使用在Apache Hive中，作为Hive的一种运行时引擎，可以优化Hive SQL的查询引擎。与Hive On MR（MapReduce）相比，Hive On Tez具有更好的查询性能和稳定性。Hive基于MapReduce提交任务和基于Tez提交任务流程图如下所示：Tez...
Hive开发手册
在Hive中使用OSS 在Hive中读写OSS时，先创建一个external的表。CREATE EXTERNAL TABLE eusers(userid INT)LOCATION 'oss:/emr/users';使用示例 Hive作业流程示例如下：示例1 编写如下脚本，保存为 hiveSample1.sql 文件，并上传至OSS。上传...
调用存储过程
您可从另一个 SPL 程序调用存储过程，只需指定该存储过程名称，后跟其参数（如果有），最后以分号结尾。name[([parameters])];其中：name 是存储过程的标识符。parameters 是实参的列表。说明 如果没有要传递的实参，则可以用空参数列表...
计费概述
在使用文件存储NAS或文件存储CPFS过程中，除了文件存储NAS或文件存储CPFS收费的计费项之外，还可能涉及以下费用支出。文件存储NAS 文件备份费用 文件存储NAS支持与云备份（Cloud Backup）服务无缝集成。您可以在NAS控制台定期备份NAS文件，...
为什么使用表格存储过程中会有少量的500错误
不少用户在使用表格存储的过程中偶尔会接到一些500错误，主要错误码如下。HTTPStatus ErrorCode ErrorMsg 503 OTSPartitionUnavailable The partition is not available.503 OTSServerUnavailable Server is not available.503 ...
- 产品推荐
- 这些文档可能帮助您