通过控制台投递数据到OSS
投递文件格式 投递的数据以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。Schema生成方式 指定需要投递的数据列，可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组中...
CREATE DATABASE
CREATE DATABASE 将允许超级用户指定 SQL_ASCII 编码而不管区域设置，但是这种选择已被废弃并且可能在数据与数据库中存储的区域不是编码兼容时让字符串函数行为失当。编码和区域设置必须匹配模板数据的编码和区域，除非 template0 被用作...
mkdir（创建目录）
当您希望按实际业务场景对上传至存储空间（Bucket）下的文件（Object）进行合理归类时，您需要先创建目录，然后将目标文件存放至指定目录。本文介绍如何使用 mkdir 命令创建目录。注意事项 要创建目录，您必须具有 oss:GetObject 和 oss:...
存储空间标签
您可以通过存储空间（Bucket）的标签功能，对Bucket进行分类管理，例如ListBucket时只显示带有指定标签的Bucket。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
GetRange
Plainbuffer编码为二进制。required bytes exclusive_end_primary_key=8;Plainbuffer编码为二进制。optional bytes filter=10;optional string start_column=11;optional string end_column=12;} 名称 类型 是否必选 描述 table_name ...
411错误
解决方案：请确保请求头采用了 chunked encoding 的编码方式，或者设置了 Content-Length。ObjectNotAppendable The object is not appendable 问题原因：对一个不是可追加类型（Appendable）的Object执行 AppendObject 操作。解决方案：...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
使用限制
本文介绍对象存储OSS的一些使用限制及性能指标。带宽 单个阿里云账号在各地域的最大带宽限制如下：地域 内外网总下载带宽 外网下载带宽 内外网总上传带宽 外网上传带宽 华东2（上海）100 Gbps 10 Gbps 20 Gbps 10 Gbps 华南1（深圳）100 ...
使用SDK
数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。目前仅支持Parquet，一般无需配置，保持默认即可。eventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区，配置项包括时间列名和时间格式。其中时间格式...
创建OSS数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建OSS数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
初始化OTSClient
OTSClient是表格存储服务的客户端，它为调用者提供了一系列的方法，可以用来操作表、读写单行数据、读写多行数据等。使用Python SDK发起请求，您需要初始化一个OTSClient实例，并根据需要修改OTSClient的默认配置项。注意事项 表格存储从...
多元索引最佳实践
当要对Token（类型为byte[]）进行持久化存储时，您可以使用Base64编码将Token编码为字符串后再进行存储。如果直接进行字符串编码，例如 new String(token)，则会造成token内容丢失。关于Token翻页方式的更多信息，请参见 排序和翻页。
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
Raw
支持Raw格式的连接器包括 消息队列Kafka、Upsert Kafka 和 对象存储OSS。使用方法 例如，在Kafka中具有以下原始格式的日志数据，并希望使用Flink SQL读取和分析此类数据。47.xx.xx.179-[28/Feb/2019:13:17:10+0000]"GET/?p=1 ...
cp（拷贝文件）
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket，或者将文件复制到相同存储空间（Bucket）的其他目录。您可以通过ossutil的 cp 完成拷贝。注意事项 要拷贝文件，您必须具有...
异常处理
OSS Java SDK包含两类异常，一类是客户端异常ClientException，另一类是服务器端异常OSSException，...403 RequestTimeout 请求超时 400 SignatureDoesNotMatch 签名错误 403 InvalidEncryptionAlgorithmError 指定的熵编码加密算法错误 400
消息通知
参数说明 使用 notify 参数时，您需要携带以下选项：参数 是否必选 描述 topic 是 MNS主题名称，主题名称需经过URL安全的Base64编码。具体操作，请参见 水印编码。使用REST API 如果对程序自定义要求较高，您可以直接发起REST API请求。...
创建Kudu数据源
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
错误码参考
表格存储常见错误包括权限认证错误、HTTP信息错误、API错误等，请根据列出的错误码信息处理常见错误。说明 其中部分错误可以通过重试解决，此类错误在“重试”列的值为“是”，反之为“否”。权限验证错误 HTTPStatus ErrorCode ErrorMsg ...
stat（查看Bucket和Object信息）
stat 命令用于查看指定存储空间（Bucket）或者对象（Object）的相关信息。例如，您可以通过该命令查看Bucket的存储类型、Object元数据等。重要 本文各命令行示例均基于Linux 64位系统，其他系统请将命令开头的./ossutil64 替换成对应的...
ST_AsText
将一个地理网格对象转换为指定规范的文本编码。语法 text ST_AsText(geomgrid grid integer precision default-1,bool separated default false,text standard default 'GGER')text[]ST_AsText(geomgrid[]grid integer precision default-1...
支持的检测规则
安全策略管理：如弱加密函数、不安全SSL、不安全随机性、访问控制、不安全存储等；输入验证：如邮件命令注入、Json注入、LDAP操纵、跨站点请求伪造等；依赖包漏洞检测 现代企业常用开源组件，开源依赖提供方通常没有较多的预算进行安全性...
ST_AsText
将一个地理网格对象转换为指定规范的文本编码。语法 text ST_AsText(geomgrid grid integer precision default-1,bool separated default false,text standard default 'GGER')text[]ST_AsText(geomgrid[]grid integer precision default-1...
对象概述
对象（Object）是OSS存储数据的基本单元，也被称为OSS的文件。和传统的文件系统不同，Object没有文件目录层级结构的关系。Object类型 Object包含以下三种类型：通过 简单上传 生成的Object类型为Normal。通过 分片上传 生成的Object类型为...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
快速开始转码任务
前提条件 开通对象存储OSS 或 视频点播服务 开通对象存储OSS服务并创建存储Bucket，详细操作请参见 控制台创建存储空间。开通视频点播服务，详细操作请参见 开通视频点播。开通后需要启用点播存储，详细操作请参见 存储管理。说明 智能媒体...
使用须知
为了保证云存储网关实例的正常运行，在使用之前，请您务必认真阅读以下使用须知。文件网关须知 建议不要频繁中断大文件拷贝到NFS或SMB共享文件夹。由于后台的分段上传机制，中断大文件拷贝会造成碎片遗留在OSS。这些碎片会影响OSS的空间...
使用限制
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
PutSymlink
合法值：命名规范同Object TargetObjectName同ObjectName一样，需要对其进行URL编码。软链接的目标文件类型不能为软链接。x-oss-object-acl 字符串 否 指定OSS创建Object时的访问权限。取值：default（默认）：Object遵循所在存储空间的...
ST_AsText
将一个地理网格对象转换为指定规范的文本编码。语法 text ST_AsText(geomgrid grid integer precision default-1,bool separated default false,text standard default 'GGER')text[]ST_AsText(geomgrid[]grid integer precision default-1...
拷贝文件
本文介绍如何在受版本控制的存储空间（Bucket）中拷贝文件（Object）。您可以通过CopyObject的方法拷贝小于1 GB的文件，通过分片拷贝（UploadPartCopy）的方法拷贝大于1 GB的文件。拷贝小文件 对于小于1 GB的文件，您可以通过CopyObject...
restore（解冻文件）
关于归档存储、冷归档存储或者深度冷归档存储类型文件的解冻状态以及费用说明，请参见 解冻文件。仅1.7.11及以上版本支持解冻文件。命令格式./ossutil64 restore oss:/bucketname[/prefix][local_xml_file][-encoding-type][-payer][-...
新建指标
存储类型 字段存储的类型，和数值类型一一对应。引用数据字典 选择已新建的数据字典，或新建新的数据字典后进行选择，新建数据字典的具体操作，请参见 新建数据字典。质量校验函数 选择已创建的质量校验函数。如何创建质量校验函数参见 ...
通义灵码介绍
通义灵码，是阿里云出品的一款基于通义大模型的智能编码辅助工具，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力，并针对阿里云的云服务使用场景调优，助力...
PutBucketTags
PutBucketTags 接口用来给某个存储空间（Bucket）添加或修改标签。注意事项 使用 PutBucketTags 接口时，有如下注意事项：只有Bucket的拥有者及授权RAM账户才能为Bucket设置用户标签，否则返回403 Forbidden错误，错误码为AccessDenied。最...
新建指标
存储类型 字段存储的类型，和数值类型一一对应。引用数据字典 选择已新建的数据字典，或新建新的数据字典后进行选择，新建数据字典的具体操作，请参见 新建数据字典。质量校验函数 选择已创建的质量校验函数。如何创建质量校验函数参见 ...
0010-00000207
必须为UTF-8编码；不能为空。问题示例 比如您发起了如下请求：PUT/?tagging Host:oss-example.oss-cn-hangzhou.aliyuncs.com Date: Tue,20 Dec 2018 11:49:13 GMT Authorization:OSS qn6qrrqxo2oawuk53otf*:ceOEyZavKY4QcjoUWYSpYbJ3*...
- 产品推荐
- 这些文档可能帮助您