COMPACTION
目前主要支持两种数据合并方式：Clustering：只是把Commit的DeltaFile合并成一个大文件，不改变数据内容。系统内部会根据新增的文件大小、文件数量等因素周期性地执行，不需要用户手动操作。主要解决小文件IO读写效率和稳定性问题。...
如何将公共读Bucket某个目录下的文件读写权限设置为...
本文介绍如何将公共读Bucket某个目录下的文件读写权限设置为私有。OSS不支持对公共读Bucket某个目录下文件的读写权限批量设置为私有，您需要将该目录下所有文件的读写权限逐一设置为私有。关于设置文件读写权限的具体步骤，请参见 设置...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
使用Java SDK上传文件
当网络不稳定或者程序崩溃时，再次发起相同上传请求，可以继续未完成的上传任务，适用于超时3000秒仍不能上传完成的大文件。注意：断点续传开启后，会在上传过程中将上传位置写入本地磁盘文件，影响文件上传速度，请您根据实际情况选择是否...
创建文件系统
当您想实现文件系统的共享访问时，您可以创建通用型NAS或极速型NAS文件系统，然后在多个计算节点中挂载使用。NAS文件系统支持在云上ECS、容器、FC、PAI等计算节点中挂载使用。同时，也支持本地数据中心挂载访问NAS。背景信息 通用型NAS文件...
CPFS-NFS客户端挂载文件系统（推荐）
在创建CPFS文件系统后，您需要开启协议服务并创建导出目录生成挂载点，然后在ECS实例中安装CPFS-NFS客户端并执行mount命令挂载，从而实现访问CPFS文件系统。导出目录的挂载点不依赖POSIX挂载点，如果您只需要通过NFS协议访问CPFS文件系统，...
写入文件提示DataXceiver Premature EOF from ...
DataXceiver error processing WRITE_BLOCK operation src:/10.*.*.*:35692 dst:/10.*.*.*:50010 java.io.IOException:Premature EOF from inputStream 问题原因 通常为了不断地向HDFS写入新的数据，作业会打开较多的HDFS文件写入流...
搭建Linux开发环境
在实际操作中，您需要先上传文件后才可以引用文件，上传文件方式有以下两种，任选其中一种即可：方式一：通过Spark参数上传文件 MaxCompute Spark支持Spark社区版原生的-jars、-py-files、-files、-archives 参数，您可以在提交作业时，...
是否支持使用固定的地址访问已上传的文件？
公共读以及公共读写权限的文件 支持 使用固定的地址访问已上传的文件，私有权限的文件 不支持 使用固定的地址访问已上传的文件。文件读写权限为公共读或者公共读写 在存储路径未修改的情况下，公共读或者公共读写的文件的访问地址不变。即...
基本概念
逻辑I/O 由应用程序发给文件系统的读写操作。冷存储 一种存储介质，可以存储数据库中的冷数据，从而降低存储成本。更多信息，请参见 冷存储介绍。冷热分离 Lindorm宽表引擎实现了数据的冷热分离能力，系统会自动根据用户设置的冷热分界线...
SDK FAQ
demo是用语音文件模拟实时语音流的速度发送语音，通常一次发送间隔时间为100ms或200ms（sleepInterval）的语音数据，数据量（batchSize）和采样率有关：发送间隔过大，会导致延迟较大，容易断连；发送间隔过小，会消耗服务端和网络资源。...
RDS术语
J JDBC Java Database Connectivity，是Java语言中用来规范客户端程序如何访问数据库的应用程序接口。结构迁移 DTS将迁移对象的结构定义迁移到目标实例。经典网络 实例之间不通过网络进行隔离，只能依靠实例自身的白名单策略来阻挡非法访问...
RDS术语
J JDBC Java Database Connectivity，是Java语言中用来规范客户端程序如何访问数据库的应用程序接口。结构迁移 DTS将迁移对象的结构定义迁移到目标实例。经典网络 实例之间不通过网络进行隔离，只能依靠实例自身的白名单策略来阻挡非法访问...
RDS术语
J JDBC Java Database Connectivity，是Java语言中用来规范客户端程序如何访问数据库的应用程序接口。结构迁移 DTS将迁移对象的结构定义迁移到目标实例。经典网络 实例之间不通过网络进行隔离，只能依靠实例自身的白名单策略来阻挡非法访问...
RDS术语
J JDBC Java Database Connectivity，是Java语言中用来规范客户端程序如何访问数据库的应用程序接口。结构迁移 DTS将迁移对象的结构定义迁移到目标实例。经典网络 实例之间不通过网络进行隔离，只能依靠实例自身的白名单策略来阻挡非法访问...
RDS术语
J JDBC Java Database Connectivity，是Java语言中用来规范客户端程序如何访问数据库的应用程序接口。结构迁移 DTS将迁移对象的结构定义迁移到目标实例。经典网络 实例之间不通过网络进行隔离，只能依靠实例自身的白名单策略来阻挡非法访问...
为什么文件读写权限修改为私有后，通过文件URL下载...
本文介绍文件读写权限修改为私有后，通过文件URL下载文件报错的原因。当文件读写权限为公共读或者公共读写时，您可以通过文件URL直接下载文件。当文件读写权限修改为私有后，您需要在文件URL中包含签名，然后将签名URL分享给第三方用于下载...
API参考
对于Delta表上最常见的读写操作，可以使用Apache Spark读取器和编写器API（请参阅 表批读写 和 表流读写）。但是，有一些特定于Delta Lake的操作，您必须使用Delta Lake编程API。本文介绍了这些编程API。Databricks确保Delta Lake项目和...
RTMP推流上传
OSS支持使用RTMP协议推送H264编码的视频流和AAC编码的音频流到OSS。推送到OSS的音视频数据可用于点播或直播场景。本文介绍如何推送音视频流到OSS，以及如何播放推送到OSS的音视频数据。使用限制 只能使用RTMP推流的方式，不支持拉流。上传...
set-acl（设置或修改ACL）
ACL是授予存储空间（Bucket）和文件（Object）访问权限的访问策略。您可以在创建Bucket或上传Object时设置ACL，也可以在创建Bucket或上传Object后的任意时间内修改ACL。set-acl 命令用于设置或修改Bucket或Object的访问权限ACL。注意事项 ...
运行模式
HOME./bin/spark-submit-master local[4]\/path/to/odps-spark-examples/spark-examples/src/main/python/odps_table_rw.py 注意事项 Local模式读写MaxCompute表速度慢，是因为Local模式是通过Tunnel来读写的，读写速度相比于Yarn Cluster...
准备工作
生成数据源 2.1 生成Java转储文件 Java转储文件即Heap dump文件，可以通过以下方式生成 说明 命令 jmap命令保存整个Java堆（推荐）jmap-dump:format=b,file=heap.bin<pid>jmap命令只保存Java堆中的存活对象 jmap-dump:live,format=b,file=...
集群吞吐性能测试
将500个大小为4 GB的文件按顺序写入到 文件存储 HDFS 版，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOwrite.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-...
后续操作
修改限流 数据迁移过程中，您可以根据您的实际情况随时修改限流参数。登录 数据在线迁移控制台。在顶部菜单栏，选择任务所在的地域。在左侧导航栏，选择 在线迁移服务>迁移任务。在迁移任务列表中，单击对应任务的 管理，进入任务详情页面...
POJO部署预测
新建main.java文件，按照压缩包中polo/main.java新建文件，命名为main.java，其中类名和预测数据需要根据模型进行修改。import java.io.*;import hex.genmodel.easy.RowData;import hex.genmodel.easy.EasyPredictModelWrapper;import hex....
开通服务
然后上传图片文件，Bucket文件读写权限设置（至少支持一种）：授权IVPD访问您的OSS（推荐）使用STS生产临时URL（推荐）Bucket读写权限设置为 公共读（慎用）开通服务后，进入 IVPD管理控制台 界面或 API Explorer，进行API试用;创建AK，...
加密身份认证-SDK调用教程
在Demo.java文件中，将以下示例代码进行复制，并根据目标API的调用信息，修改endpoint、path、AppCode、AppKey以及AppSecret。API的调用信息获取方式，请参见 获取API调用信息。说明 API的访问路径由endpoint和path组成。import ...
前言
等 delete_object.go 删除文件 copy_object.go 拷贝文件 list_objects.go 列举文件 archive.go 解冻文件 object_acl.go 管理文件读写权限 sign_url.go 生成带签名的URL object_tagging.go 对象标签 select_object.go 查询文件 object_meta....
实时计算场景优化
DataXceiver error processing WRITE_BLOCK operation src:/10.*.*.*:35692 dst:/10.*.*.*:50010 java.io.IOException:Premature EOF from inputStream 配置预留磁盘空间 背景：HDFS对于打开的文件写入流，会预先保留128 MB Blocksize的...
CodeOwner 机制
一个路径规则后边，需要有一个或多个Owner#用户 A@example.com,B@example.com 作为所有文件的CodeOwner*@A@example.com @B@example.com # 用户 C@example.com 作为所有java文件的CodeOwner*.java@C@example.com # 用户 D@example.com、E@...
账号权限
pg_read_all_data&pg_write_all_data 受限 读写任意表的权限，可读写任意用户表和可读大部分系统表，安全原因屏蔽部分系统表。pg_read_all_settings 受限 读任意参数权限，可读权限范围内的参数，安全原因屏蔽部分参数。pg_read_server_...
使用限制
文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可挂载计算节点的数量 数量不限 单个文件系统的最大目录层级 1000层 单个文件系统最大文件或目录...
账号权限
pg_read_all_data&pg_write_all_data 受限 读写任意表的权限，可读写任意用户表和可读大部分系统表，安全原因屏蔽部分系统表。pg_read_all_settings 受限 读任意参数权限，可读权限范围内的参数，安全原因屏蔽部分参数。pg_read_server_...
文件权限说明
您可以通过文件路径指定一个特定的文件，也可以通过JavaScript的正则表达式指代一批文件或使用星号（*）指代所有文件。以下是三种范围书写方式示例：文件路径：xxx/yyy/zzz.jpg。范围是这个特定文件。正则表达式：/.*\\.png/。范围是所有...
Java
在正确安装 MySQL Connector/J 5.1.47 驱动并配置环境之后，可以通过以下 Test.java 文件的 示例代码 进行数据库连接及使用。重要 如果是 MySQL Connector/J 8.x 版本，Class.forName("com.mysql.jdbc.Driver")中的 com.mysql.jdbc.Driver ...
方案分析
对比 读扩散（拉模式）写扩散（推模式）网络最大开销时刻 获取Feed流时 发布Feed时 读写放大 放大读 放大写 读写比例 99:1 1:99 用户读取延时 秒 毫秒 系统要求 读能力强 写能力强 架构复杂度 复杂 简单 拉模式和推模式在很多方面完全相反...
IntelliJ IDEA Java UDF开发最佳实践
在UDF Java文件上单击右键，选择 Deploy to server.在 Package a jar,submit resource and register function 对话框，配置如下参数。MaxCompute project：UDF所在的MaxCompute项目名称。由于UDF本身是在连接的MaxCompute项目下编写的，...
性能优化最佳实践
避免使用小文件 处理小文件并非Hadoop的设计目标，Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task，而task启动将耗费大量时间，造成作业的大部分时间都耗费在启动task和释放task...
Demo体验
配置并运行Java服务端 根据实际情况在 java/application/src/main/java/demo/controller/OpenApiController.java 文件中配置AccessKey和地域信息。执行以下命令，使用软链接将前端打包后的资源链接到Java对应的目录下。ln-s"$(pwd)/fe"java...
MQTT云网关X.509证书双向认证
打开工程下的/src/main/java/com/aliyun/iot/Mqtt5TlsApp.java 文件，修改设备接入的相关参数。MQTT连接参数 String userName="device01;String password="hello456;String clientId="test01_client1;根证书保存路径 String caCertPath=...
- 产品推荐
- 这些文档可能帮助您