匿名块
块通常作为存储过程、函数、子程序或触发器的一部分编写。存储过程、函数和触发器程序被命名并存储在数据库中以供重新使用。对于快速（一次性）执行（例如测试），您只需输入块而无需提供名称或将其存储在数据库中。此类型的块称为匿名块。...
创建专属块存储集群
当您成功创建专属块存储集群后，便可以独享集群中的存储资源。本文介绍如何创建专属块存储集群。前提条件 首次使用专属块存储集群时，您需要先 提交工单 申请，才能创建使用。背景信息 说明 专属块存储集群功能目前支持华东1（杭州）、华东...
管理存储过程
概述 在 OceanBase 开发者中心（OceanBase Developer Center，ODC）首页单击连接名进入连接后，在左导航栏中单击 存储过程 标签可查看存储过程列表，在存储过程列表中显示当前连接的数据库中存在的存储过程对象。在存储过程列表中，可查看...
存储过程
存储过程支持内部开启事务块，进行事务提交（Commit）或者事务回滚（Rollback），而函数无此功能，只能整体提交或回滚一个事务。存储过程无类似Function的返回值，但是可以通过output参数获取返回结果。示例 示例一 本示例中将创建一个存储...
概述
通过将SPL代码组织为子存储过程和子函数，可以有利地运用SPL存储过程和函数程序的能力和功能来构建结构良好且易于维护的程序。通过在SPL程序中声明子存储过程和子函数，可从相对较大的SPL程序中的不同位置多次调用相同的SPL代码。子存储...
阿里云存储服务
块存储 块存储是阿里云为云服务器ECS提供的块设备类型产品，具备高性能、低时延等特性。您可以像使用物理硬盘一样格式化并建立文件系统来使用块存储。阿里云为您的云服务器ECS提供了丰富的 块存储产品类型，包括基于分布式存储架构的云盘...
开通快照
您在初次使用数据库文件系统快照服务前，请先开通云盘块存储的快照服务。详见 云盘快照开通。费用相关 数据库文件系统快照功能不另外单独收取费用，仅收取云盘快照费用，详见 云盘快照计费。后续步骤 创建快照
块存储优化
使用块存储，您需要为预配置的容量付费，即使云盘未挂载或只有极少量的写入操作。因此，要优化块存储的性能和成本，请定期监控和识别未挂载的，以及未充分使用或过度使用的云盘，并调整配置以匹配实际的使用情况。删除未挂载和未使用的云盘...
块存储
数据持久性和服务可用性 在同一可用区中，您的业务数据以多副本的形式分布存储在块存储集群中，保证读写过程中的数据稳定性，为ECS实例实现99.9999999%（9个9）的数据可靠性保证。为进一步提升块存储的可靠性，建议您定期创建快照，为云盘...
在混合云场景下阿里云还有哪些存储和灾备解决方案？
在混合云场景下，阿里云推出了一系列存储和灾备解决方案，包括：闪电立方：海量数据的快速离线和在线迁移。云备份：简单易用的数据备份上云服务。...云存储网关：以OSS作为后端存储，前端支持行业标准的文件和块存储协议的软网关。
计费说明
ESSD云盘的计费说明参见 块存储计费。购买方式 DBFS的购买方式目前仅支持“按量付费”模式。购买方式 用途 形式 应用场景 按量付费 可以挂载到按量付费实例或者包年包月ECS实例上，支持卸载、在线扩容、多点读写、创建快照及加密等功能。以...
使用EMR
块存储模式（Block）提供了最为高效的数据读写能力和元数据访问能力。数据以Block形式存储在后端存储OSS上，本地提供缓存加速，元数据则由本地Namespace服务维护，提供高效的元数据访问性能。详情请参见 JindoFS块存储模式使用说明。前提...
存储容量单位包SCU概述
块存储云盘EBS OSS 标准型OSS 低频型OSS 归档型OSS 对象存储OSS NAS 容量型NAS 性能型NAS 说明 不支持抵扣极速型NAS和低频介质。文件存储NAS 快照 普通快照 快照服务 HBR 备份库存储容量 混合云备份HBR PDS 相册与网盘服务 网盘与相册服务...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 Default Catalog。查询外部数据 如果需要查询存储在外部...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源...
什么是云存储网关CSG
它以阿里云对象存储（OSS）为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。云存储网关目前提供两种形态：文件网关 文件网关将OSS Bucket的对象结构与NAS文件系统的目录/文件建立映射关系。用户...
开通并配置OSS存储分析
EMR Doctor支持分析OSS上的数据，开通OSS存储分析功能可以帮助您进一步了解OSS存储资源的使用情况和健康状态，让您更好地治理存储在OSS上的数据。背景信息 OSS提供了存储清单功能，配置该功能后会定期为Bucket生成清单文件，清单文件中保存...
数据湖生态接入
HDFS服务 HBase 将HBase快照保存在OSS HBase使用OSS-HDFS服务作为底层存储 Hive Hive使用JindoSDK处理OSS-HDFS服务中的数据 HDP 通过HDP 2.6 Hadoop读取和写入OSS数据 Kafka 将Kafka数据导入OSS Logstash 使用Logstash将日志导入OSS Impala...
云存储网关
它以阿里云对象存储OSS为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。云存储网关 目前提供两种形态：文件网关 文件网关将OSS Bucket的对象结构与NAS文件系统的目录和文件建立映射关系，您通过...
查看集群日报与分析
Hive基础信息 该区域汇总了Hive使用过程中常用的几个存储指标，包含存储使用量趋势，文件数量趋势及评分趋势等。Hive使用量分析 在Hive使用分析中，您可以获取以下图表：Hive库存储量使用量分布图 Hive用户总存储量分布 Hive表文件大小分布...
什么是对象存储OSS
其他阿里云存储服务 除了对象存储以外，阿里云还提供文件存储、块存储等类型的存储服务，满足您不同场景下的业务需求。更多信息，请参见 阿里云存储服务介绍 和 阿里云存储产品文档。关于阿里云存储服务的客户案例、解决方案等，请参见 ...
功能特性
服务器端加密 客户端加密 OSS客户端加密是在数据上传至OSS之前，由用户在本地对数据进行加密处理，确保只有密钥持有者才能解密数据，增强数据在传输和存储过程中的安全性。客户端加密 合规保留策略 OSS保留策略具有WORM（Write Once Read ...
存储说明
背景信息 关于存储的类型、性能和相关的限制信息，请参见 什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月 高效云盘存储...
CDH6与文件引擎集成
三、安装HIVE服务 安装MySQL数据库，并创建用来存储hive元数据信息的数据库。登入CDH6任意的一台机器，执行如下指令，进行安装。切换到 root sudo su-#下载 MySQL的rpm 源 root@cdhlindorm001~/tool$wget ...
创建存储过程
存储过程是作为单个 SPL 程序语句调用的独立 SPL 程序。调用时，存储过程可选择以输入参数的形式从调用方接收值，并可选择以输出参数的形式向调用方返回值。CREATE PROCEDURE 命令可定义并命名一个将存储在数据库中的独立存储过程。如果...
Hive作业调优
Hive的文件基本上都是存储在HDFS上，而HDFS上的文件，都是分块的，所以具体的Hive数据文件在HDFS上分多少块，可能对应的是默认Hive起始的Task的数量，使用 default_mapper_num 参数表示。使用数据总大小除以dfs默认的最大块大小来决定初始...
在专属块存储集群中创建云盘
具体操作，请参见：专属块存储集群中云盘作为系统盘 专属块存储集群中云盘作为数据盘 专属块存储集群中云盘作为系统盘 当专属块存储集群中云盘作为ECS实例的系统盘时，您需要在创建ECS实例时启用专属块存储集群。登录 ECS管理控制台。在...
快速使用数据湖分析版实例
更多信息，请参见 块存储概述。缓存盘大小：数量范围为50~65000 GB。说明 您可以输入所需的存储容量，系统将自动提供默认的推荐配置。如果您选择的云盘容量超出建议的阈值，系统会弹出相应的提示，帮助您做出适当的调整以确保最佳性能。PL0...
Paimon数据源
paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...
异构数据源访问
提供以下功能：多种数据存储访问：支持多种数据存储系统，允许 AnalyticDB PostgreSQL版 数据库直接访问存储在HDFS、Hive、MySQL，PostgreSQL，PolarDB MySQL等多种外部系统中的数据。数据格式透明：支持常见的数据格式，如CSV、ORC、...
Paimon数据源
paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...
数据迁移概述
将数据迁移至OSS 您可以基于实际业务需求将本地、第三方存储设备或者OSS源存储空间（Bucket）内的数据迁移至OSS目标Bucket，具体如下表所示：迁移方式 说明 相关文档 在线迁移 使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象...
通过Spark Distribution SQL Engine开发Spark SQL作业
前提条件 AnalyticDB for MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已在湖仓版（3.0）集群中创建Job型资源组。具体操作，请参见 新建资源组。已创建湖仓版（3.0）集群的数据库账号。如果是通过阿里云账号访问，只需创建高权限...
大数据型
Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景 EMR JindoFS配合OSS实现大数据冷热数据分层和存储计算分离的场景 Spark内存计算、MLlib等机器学习场景 ElasticSearch、Kafka等搜索和日志数据处理场景 d3c包括的实例规格及...
Hive数据源
The directory for caching permission data,needs to be writable<property><name>ranger.plugin.hive.policy.cache.dir</name><value>/mnt/datadisk0/zhangdong/rangerdata</value></property>#The time interval for ...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
使用EasyRec读取Hive表
EasyRec支持csv和Parquet两种Hive文件存储格式。本文通过示例为您介绍，如何基于Hive在Data Science集群进行EasyRec模型训练、评估和预测。前提条件 已创建Hadoop集群，详情请参见 创建集群。已创建DataScience集群，且选择了EasyRec和...
- 产品推荐
- 这些文档可能帮助您