并行INSERT
支持并行 INSERT 的表类型如下：普通表 分区表（部分）外部表 并行 INSERT 支持动态调整写入并行度（写入进程数量），在查询不成为瓶颈的条件下性能最高能提升三倍。原理介绍 并行查询和并行写入以流水线的形式同时进行。执行过程如下图所...
使用mount命令挂载ext4文件系统
该方式默认启用写入缓存、读写权限控制、文件系统日志等功能，这些功能可以提高文件系统的性能和稳定性，并提供数据的完整性和保护。优点：对文件系统的数据安全性和性能都有一定的保障。缺点：对文件系统数据安全性的影响：由于部分用户...
RDS外部表
当您需要向RDS外部表写入大量数据时，采用并行多进程写入方式，会小概率出现某个写入进程数据重写情况，导致数据重复。MaxCompute里建的RDS外部表，其中DECIMAL数据类型默认小数18位，不能修改，只能建成 decimal(38,18)。如果小数位数比较...
外部表自动加载（Auto Load）
应用场景 Hologres与 云原生大数据计算服务MaxCompute、阿里云数据湖构建（Data Lake Formation，DLF）和 阿里云对象存储（Object Storage Service，OSS）深度兼容，无需数据搬迁，即可通过外部表加速查询存储于MaxCompute或OSS的数据。...
概览
V2.0.14.6.0 ePQ Hint Injection V2.0.14.8.0 ePQ支持分区表查询 V2.0.14.11.0 自适应扫描 ❌ 并行INSERT V2.0.14.12.0 创建物化视图的跨机并行加速和批量写入 V2.0.14.6.0 ePQ支持并行写入及查询OSS外部表 V2.0.14.13.0 根据表大小或代价...
跨租户发布设置
发布文件外部存储设置 OSS存储 默认不勾选 启用OSS存储，勾选后，需配置发布文件的OSS外部存储信息。使用OSS存储作为来源环境和目标环境的发布文件中转，避免文件的下载到上传路径不一致。在发布文件导出时，可将发布文件自动导出到OSS存储...
跨租户发布设置
发布文件外部存储设置 OSS存储 默认不勾选 启用OSS存储，勾选后，需配置发布文件的OSS外部存储信息。使用OSS存储作为来源环境和目标环境的发布文件中转，避免文件的下载到上传路径不一致。在发布文件导出时，可将发布文件自动导出到OSS存储...
准备工作
您可以登录 对象存储OSS控制台，单击某个待迁移存储空间的名称，查看待迁移存储空间（Bucket）的存储量和对象（文件）数量。说明 为保证您数据的正常迁移，您需要在 创建迁移任务 时正确填写存储量与对象（文件）数量。步骤二：创建目标NAS...
创建OSS-HDFS投递任务
存储格式 数据被投递到OSS-HDFS后，支持存储为不同的文件格式。更多信息，请参见 JSON格式、CSV格式、Parquet格式 和 ORC格式。是否压缩 OSS数据存储的压缩方式。不压缩（none）：不压缩数据。压缩（snappy）：使用snappy算法压缩数据，...
pg_foreign_server
目录 pg_foreign_server 存储外部服务器定义。外部服务器定义了外部数据的来源，例如一个远程服务器。外部服务器通过外部数据包装器来访问。列名称 列类型 描述 oid oid 行标识符。srvname name 外部服务器的名称。srvowner oid 外部服务器...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
创建OSS投递任务（新版）
日志服务采集到数据后，支持将数据投递至OSS Bucket中进行存储与分析。本文介绍创建OSS投递任务（新版）的操作步骤。前提条件 已创建Project和Logstore。具体操作，请参见 创建Project和Logstore。已采集到数据。具体操作，请参见 数据采集...
pg_foreign_data_wrapper
目录 pg_foreign_data_wrapper 存储外部数据包装器定义。外部数据包装器是一种访问位于外部服务器上数据的机制。列名称 列类型 描述 oid oid 行标识符。fdwname name 外部数据包装器的名称。fdwowner oid 外部数据包装器的拥有者。...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
产品优势
数据一致性强 表格存储 保证数据写入强一致，并保证数据3副本均写入磁盘，且所有数据保持一致。写操作一旦返回成功，应用程序就能立即读到最新的数据。高并发读写 表格存储 支持千万级并发读写能力。运维便捷 使用 表格存储，您只需专注于...
目录和文件访问权限
文件存储 HDFS 版 为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
如何选用NAS、OSS和EBS？
提供高吞吐和高IOPS的同时，支持文件的随机读写和在线修改 支持公网访问，一个低成本的海量共享存储空间，适合存储写入后较少修改的数据 块级存储，可随机读写，类似物理硬盘，支持分区格式化并建立文件系统 应用场景 主要应用于科学计算、...
概述
Sink 从Channel中获取Event，并将以事务的形式Commit到外部存储中。一旦事务Commit成功，该Event会从Channel中移除。常见Sink如下：Logger Sink：用于测试。Avro Sink：转换成Avro Event，主要用于连接多个Flume Agent。HDFS Sink：写入...
对于外部项目的用户以及权限操作
如果您需要将外部项目权限或表操作权限授权给其他用户，请根据本文进行操作。注意事项 由于MaxCompute在湖仓一体模式下不持久化数据源元数据，权限策略依据数据源对象名称管理。数据源对象名称变更会导致授权失效，须通过 Revoke 命令或...
设置文件和目录的权限
不同操作系统的云虚拟主机，文件或者目录设置了 可读可执行(禁止写入)权限后，具体规则如下：Linux操作系统主机：您可以通过FTP客户端删除文件，但不能上传文件。说明 Linux操作系统云虚拟主机在使用文件管理器管理文件时，上传、删除以及...
边缘存储
计费示例 例如，您创建了1个边缘函数A，并使用了1 GB的边缘键值存储1天，读取了边缘存储中的键值200万次，向边缘存储写入键值100万次（如图中调用边缘函数API部分所示）。出账周期：2021年01月01日边缘存储费用为：0.0139元/GB/小时*24+0.7...
外部成员」功能管理企业外部人员账号
外部成员」可与「企业成员」角色相互转化；外部成员」可以做单独权限配置；新增「添加外部成员」角色权限 在企业「企业管理后台」-「权限配置」-「企业权限」中，企业成员新增「添加外部成员」的权限项，可以灵活配置；另外如果拥有「添加...
专业术语
为了降低访问永久存储文件的频率，TSDB For InfluxDB®在WAL中缓存最近写入的数据点，直到数据总量达到阈值或者数据写入的时间超过一定的期限，这时候TSDB For InfluxDB®会将WAL中的这些数据flush到可以保存更长时间数据的存储空间。...
内置检测模型说明
多次尝试访问没有权限的文件 出现多次尝试访问没有权限的文件可能是存在外部攻击尝试。撞库攻击告警 某IP连续尝试登录并且失败次数较多时，可能是攻击者使用获取的用户名和密码组合来尝试登录。来自恶意源（威胁情报数据）的敏感数据下载 ...
访问控制
阿里云对象存储OSS提供读写权限ACL、授权策略、防盗链白名单等功能，实现存储资源访问的控制和管理。读写权限 OSS为权限控制提供访问控制列表（ACL）。ACL是授予Bucket和Object访问权限的访问策略。您可以在创建存储空间（Bucket）或上传...
现代IM系统中的消息系统—架构
基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性，包括多端同步、消息漫游和在线检索，在性能和规模上能够实现全量消息云端存储和索引、百万TPS写入以及毫秒级延迟的消息同步和检索能力。背景 在这个高度信息化的移动互联网...
时序模型介绍
时序模型通过时序表存储时间序列数据，能提供高并发写入和查询以及PB级海量数据的低成本存储。您还可以通过SQL查询与分析时序数据。模型介绍 表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、...
使用函数计算清洗数据
表格存储高并发的写入性能以及低廉的存储成本非常适合物联网、日志、监控数据的存储。将数据写入到表格存储时，您可以通过函数计算对新增的数据做简单的清洗，将清洗后的数据写回到表格存储的另一种数据表中。同时，您也可以实时访问表格...
概览
形态说明 阿里云实时计算Flink版不进行业务存储，所有的数据均来自于外部存储系统持有的数据。阿里云实时计算Flink版支持的数据存储类型如下：源表 源表指输入至Flink的数据输入源。Flink的源表指定为Hologres时，使用的是批量导入而非流式...
初始化OTSClient
TableStoreClient是表格存储服务的客户端，它为调用者提供了一系列的方法，可以用来操作表、读写单行数据、读写多行数据等。如果要使用宽表模型的操作数据表、读写单行数据、读写多行数据等功能，您需要初始化一个TableStoreClient实例；...
Hologres外部表
当您需要访问存储在Hologres中的数据时，MaxCompute支持使用外部表访问Hologres数据源数据，无需导入数据至MaxCompute中，实现快速查询Hologres数据。本文为您介绍如何在外部表建表语句中指定Hologres数据源、STS认证信息或打开双签名开关...
缓冲区管理
主节点Buffer Pool中的数据页，根据是否包含未来数据（即只读节点的回放位点之后新产生的数据），可以分为两类：可以写入存储的数据页和不能写入存储的数据页。该判断依赖以下两个位点：Buffer最近一次修改对应的LSN，即Buffer Latest LSN...
概述
已创建RAM用户并为RAM用户授予管理表格存储权限（AliyunOTSFullAccess）和管理DataWorks权限（AliyunDataWorksFullAccess）。具体操作，请参见 创建RAM用户 和 为RAM用户授权。重要 由于配置时需要填写访问密钥AccessKey（AK）信息来执行...
从OSS批量导入导出
将数据从OSS导入到HybridDB for MySQL中需要如下四个步骤：准备OSS中真实数据文件的存储目录 在HybridDB for MySQL中建立一张外表映射到OSS中的源表 在HybridDB for MySQL中建立接收数据的真实存储表 调用INSERT[OVERWRITE]INTO SELECT来...
EMR Flink写入OSS-HDFS服务
可恢复性写入功能支持将数据以EXACTLY_ONCE语义写入存储介质。本文介绍Flink如何通过EMR集群的方式可恢复性写入OSS-HDFS服务。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤，请参见 创建集群。已开通并授权...
访问SMB共享目录
本文介绍在Windows操作系统如何通过客户端访问云存储网关。前提条件 已创建共享。具体操作，请参见 创建共享。说明 最大允许挂载16个SMB共享目录。不同的网关型号受CPU和内存的影响限制会有不同。更多信息，请参见 产品规格。挂载成功后，...
访问SMB共享目录
本文介绍如何通过Windows操作系统中的客户...如果访问用户具有写权限，则可以向共享目录写入数据；如果访问用户只有读权限，则只能读取文件。说明 云存储网关的共享目录与OSS Bucket之间做了同步，您对共享目录的操作实际也是对OSS进行操作。
功能特性
BI工具对接 数据传输迁移 MaxCompute提供多种渠道，以便从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。功能集 功能 功能描述 参考文档 上传数据 Tunnel（离线）MaxCompute的客户端...
访问NFS共享目录
如果访问用户具有写权限，则可以向共享目录写入数据；如果访问用户只有读权限，则只能读取文件。说明 云存储网关的共享目录与OSS Bucket之间做了同步，您对共享目录的操作实际也是对OSS进行操作。自动挂载NFS共享目录 为避免已挂载文件系统...
支持Flink可恢复性写入JindoFS或OSS
通过Flink自有的检查点（Checkpoint）机制，当写入存储介质的作业发生局部失败时，作业可以迅速自动恢复，并继续写入。背景信息 可恢复性写入功能支持将数据以EXACTLY_ONCE语义写入存储介质，在大数据场景下保证了数据的安全性和一致性。在...
- 产品推荐
- 这些文档可能帮助您