数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
ZIP包解压
压缩包限制：ZIP压缩包中单个文件的大小不超过1 GB，解压单个压缩包默认的最大时间是2小时，超过2小时可以调整函数最大执行时长，详情请参见 解压超大文件解压超过2h任务失败。配置ZIP包解压规则 登录 OSS管理控制台。单击 Bucket 列表，...
通过SDK使用分析存储
使用SDK在已开启分析存储的时序模型实例下为时序表创建分析存储并为分析存储创建绑定关系，然后使用SQL查询数据。说明 您可以通过 Java SDK 或者 Go SDK 使用分析存储功能，本文以Java SDK为例介绍分析存储的使用。注意事项 时序分析存储...
通过NFS使用NAS静态存储卷
本文介绍如何使用阿里云NAS静态存储卷，及如何实现持久化存储与共享存储。前提条件 已创建Kubernetes集群。具体操作，请参见 创建Kubernetes托管版集群。已创建NAS文件系统。具体操作，请参见 创建文件系统。若需要加密NAS存储卷中的数据，...
日志字段
transaction_policy string SQL执行时使用的事务策略，取值范围如下 空：未开启事务 TSO：执行 PolarDB-X TSO事务（默认取值）BEST_EFFORT：执行 PolarDB-X 2PC事务 user string 执行SQL的用户名。table_name string SQL执行涉及到的表。若...
简单权限模型函数说明
使用说明 关闭SPM的说明如下：{db}_admin、{db}_developer、{db}_writer和{db}_viewer用户组继续保留，可以使用专家模式授权语句将用户加入对用户组来做权限管理，数据库对象Owner保持不变（仍然是{db}_developer）。DB的CONNECT，...
分区表自动冷存
任务执行的结果就是分区表转存至OSS中,查看分区表的存储位置 db01=>\d+traj_202301 Table"public.traj_202301"Column|Type|Collation|Nullable|Default|Storage|Compression|Stats target|Description-+-+-+-+-+-+-+-+-tr_id|integer|not ...
分区表自动冷存
任务执行的结果就是分区表转存至OSS中,查看分区表的存储位置 db01=>\d+traj_202301 Table"public.traj_202301"Column|Type|Collation|Nullable|Default|Storage|Compression|Stats target|Description-+-+-+-+-+-+-+-+-tr_id|integer|not ...
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
基于NAS部署可更换模型的FC Stable Diffusion进行AI...
阿里云文件存储 NAS是一种分布式的网络文件存储，为ECS、HPC、Docker、BatchCompute等提供安全、无限容量、高性能、高可靠、简单易用的文件存储服务。阿里云文件存储NAS支持与函数计算无缝集成。这使您的函数可以像访问本地文件系统一样...
CPFS并行文件存储
CPFS并行文件存储 提供高性能计算文件存储，支持标准的POSIX和MPI-IO协议，自带的高性能计算程序无需任何接口适配和性能优化即可高效执行，满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...
迁移开源HDFS的数据到文件存储 HDFS 版
本文档介绍如何将开源HDFS的数据平滑地迁移到 文件存储 HDFS 版。背景信息 当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云...
SQL查询计量计费
如果业务需要使用数据扫描来查询数据，请加入钉钉群23307953（表格存储技术交流群-2）联系表格存储技术支持进行评估。数据表和索引配合使用 查询条件中的列为非主键列，如果数据表的索引中包含了查询条件中的列，则表格存储会自动选择索...
通过控制台使用分析存储
目前支持使用时序分析存储功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）和华北3（张家口）。只支持在时序模型实例中使用分析存储功能。如果使用过程中遇到问题，请通过钉钉加入用户群 物联网存储 IoTstore 开发者交流群 联系...
通过命令行工具CLI使用时序模型
表格存储 提供了管理控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。通过Tablestore CLI使用 表格存储 时序模型（TimeSeries）时，您需要根据所用平台下载相应命令行工具，然后使用命令行工具进行开通表格存储服务、...
宽表模型介绍
2 开通表格存储服务 使用 表格存储 功能前，您必须开通 表格存储 服务。服务仅需开通一次，开通过程免费。如果已经开通 表格存储 服务，请跳过此操作。3 创建实例 重要 创建实例前，您需要根据实际业务特点以及业务对读写性能和成本要求...
技术架构
核心模块 如同大多数传统单机关系型数据库，PolarDB-X 分为网络层、SQL解析层、优化层、执行层、存储层，其中优化层包含逻辑优化和物理优化，执行层包含单机两阶段执行、单机并行执行和多机并行执行，存储层包含应用了多种传统单机数据库...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
如何优化高并发IM系统架构
多个用户在一个队列中，队列串行执行，为了保证消息严格递增，执行过程中要持有锁，这个过程会有一个风险：如果发送给某个用户的消息量很大，这个用户所在的队列中消息会变多，就有可能堵塞其他用户的消息，导致同队列的其他用户消息出现...
通过云存储网关挂载OSS
通过云存储网关挂载OSS，您可以将OSS映射为一个共享的文件存储系统，实现多个用户在不同地点和设备上共享访问OSS数据。挂载完成后，您可以像使用本地文件夹和磁盘一样操作OSS资源。前提条件 已开通 云存储网关服务，并授予访问OSS、ECS及...
RestoreObject
解冻过程 不同存储类型的Object的解冻过程相同。Object的解冻过程如下。初始时，Object处于冷冻状态。提交一次解冻请求后，Object处于解冻中状态。服务端完成解冻任务后，Object进入解冻状态。此时您可以读取Object。如果Object处于解冻...
配置E-MapReduce服务使用文件存储 HDFS 版
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面，...
跨实例查询
仅存储弹性模式7.0版本的ORCA优化器支持对FDW外表生成执行计划，存储弹性模式6.0版本和Serverless模式的ORCA优化器无法处理外表，会使用原生优化器生成执行计划。操作步骤 以下内容将为同一账号下的实例A和实例B（两个实例位于同一地域、同...
通过命令行工具使用宽表模型
表格存储 提供了管理控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。通过Tablestore CLI使用 表格存储 宽表模型（WideColumn）时，您需要根据所用平台下载相应命令行工具，然后使用命令行工具进行开通表格存储服务、...
功能特性
数据存储 功能集 功能 功能描述 参考文档 元数据存储 宽表模型 宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、...
NAS存储卷FAQ
使用NAS存储卷时，提示chown:Operation not permitted 使用NAS动态存储卷时，Controller的任务队列已满且无法创建新的PV NAS存储卷挂载时间延长 使用NAS存储卷时，无法创建或修改目录 当工作负载挂载NAS存储卷时，提示unknown filesystem ...
为什么云存储网关与OSS上的文件不一致
云存储网关上的文件与OSS对象一一对应，提供与OSS对象1:1映射的文件共享服务，您可以通过网关以标准的POSIX接口访问OSS上的资源。云存储网关与OSS是相互独立的云产品，为保证您通过网关看到的文件视图与OSS一致，需要有特殊的元数据同步...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
通过控制台使用时序模型
表格存储 提供了控制台、命令行工具和Tablestore SDK三种访问方式。通过控制台使用时序模型（TimeSeries）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建时序表、读写时序表中数据以及使用SQL查询数据的操作。前提条件 已...
流计算
使用Spark的DataFrame方式访问表格存储，并在本地和集群上分别进行运行调试。前提条件 了解Spark访问表格存储的依赖包，并在使用时通过Maven方式引入项目中。Spark相关：spark-core、spark-sql、spark-hive Spark Tablestore connector：...
安装
如果您需要管理OSS存储空间、上传下载文件、管理数据、进行图片处理等，可以先安装OSS Go SDK。本文提供了OSS Go SDK的多种安装方式，请结合实际使用场景选用。环境准备 环境要求 使用Golang 1.6及以上版本。请参考 Golang安装 下载和安装...
安装
如果您需要管理OSS存储空间、上传下载文件、管理数据、进行图片处理等，可以先安装OSS Python SDK。本文介绍如何安装OSS Python SDK。环境准备 安装 Python。OSS Python SDK适用于Python 2.6、2.7、3.3、3.4、3.5、3.6、3.7、3.8及以上版本...
创建维表
with(type='rds',url='jdbc:mysql:/your_db_host:your_db_port/your_db_name',tableName='your_table_name',userName='config:/local_db_username',-local_db_username为在配置中存储的用户名的key password='config:/local_db_password'-...
批计算
使用Spark的DataFrame方式访问表格存储，并在本地和集群上分别进行运行调试。前提条件 了解Spark访问表格存储的依赖包，并在使用时通过Maven方式引入项目中。Spark相关：spark-core、spark-sql、spark-hive Spark Tablestore connector：...
基于最后一次修改时间的生命周期规则
某公司服务热线的录音文件，上传至 OSS 后2个月内，需要作为数据统计及核查的依据，2个月后偶尔访问，半年后基本不再访问，2年后数据不再需要存储。可以通过设置生命周期规则，设置录音文件上传60天后转为低频访问存储，180天后转为归档...
技术架构
如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含逻辑优化和物理优化，执行层包含单机两阶段执行、单机并行执行和多机并行执行，应用了多种传统单机数据库优化和执行技术。...
Catalog概述
Catalog StarRocks 2.3及以上版本支持Catalog功能，方便您轻松访问并查询存储在各类外部源的数据。当前StarRocks提供Internal Catalog和External Catalog两种类型的Catalog。说明 本文图片和部分内容来源于开源StarRocks的 概述。Internal ...
恢复.kibana_1索引
当您的Kibana集群因异常状况被重置后，.kibana_{num}（{num} 为变量，例如.kibana_1、.kibana_2等）索引也会被重置，因此您需要恢复对应索引来恢复相关数据。本文以.kibana_1 索引为例，介绍如何通过快照和reindex方式快速恢复.kibana_{num...
Catalog概述
Catalog StarRocks 2.3及以上版本支持Catalog功能，方便您轻松访问并查询存储在各类外部源的数据。当前StarRocks提供Internal Catalog和External Catalog两种类型的Catalog。Internal Catalog：内部数据目录，用于管理StarRocks所有内部...
流计算
通过在E-MapReduce集群中使用Spark SQL访问表格存储。对于流计算，基于通道服务，利用CDC（数据变更捕获）技术完成Spark的mini batch流式消费和计算，同时提供了at-least-once一致性语义。前提条件 已创建 EMR 集群。具体操作，请参见 EMR...
- 产品推荐
- 这些文档可能帮助您