功能更新动态（2024年）
支持的文件级参数包括$filename（文件名）、$filenamewithpath（带路径的文件名）、$filesize（文件大小）、$rowcount（文件数据行数）。支持使用全局参数、跨节点参数与管道参数进行调度。MySQL、AnalyticDB for MySQL 3.0、TiDB输出组件...
Logview诊断实践
与前面介绍过的 子查询多阶段执行 类似，Merge作业也是作为一个单独的 tab 页显示，自动合并小文件多出来的Merge Task，虽然会增加当前作业整体执行时间，但是会让结果表在合并后产生的文件数和文件大小更合理，从而避免对文件系统产生过大...
数据导入常见问题
问题描述 导入作业失败，通过查看错误详情URL发现返回“Value count does not match column count”错误，提示解析源数据得到的列数与目标表的列数不匹配。Error:Value count does not match column count.Expect 3,but got 1.Row:2023-01-...
文档更新动态（2024年）
更新说明 创建Kafka数据源 创建达梦（DM）数据源 数据引入-离线集成-离线单条管道-组件库开发 FTP输出组件优化：写入文件个数不与并发数强绑定，支持选择写入单个文件或生成多个文件。当加载策略选择覆盖数据或文件冲突报错时，单个文件不...
使用JindoFuse挂载访问
如果您希望将OSS-HDFS服务映射为一个本地文件系统，然后通过标准的文件系统接口（例如读、写、删除文件等）访问OSS-HDFS服务中的文件，您可以使用JindoFuse挂载访问的方式。JindoFuse是一个开源的分布式文件系统访问工具，同时兼容POSIX，...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
通过DaemonSet方式采集Kubernetes容器文本日志
但是，容器内的文件系统都是由宿主机的文件系统挂载形成，通过将宿主机根目录所在的文件系统挂载到Logtail容器，就可以访问宿主机上的任意文件，从而间接采集业务容器文件系统的文件。容器内文件路径与宿主机文件路径之间的关系被称为文件...
常见问题
说明 对于Hive作业报错或其他异常问题请参见 Hive作业异常排查及处理。对于Hive Metastore和HiveServer等服务相关的异常请参见 Hive服务异常排查及处理。作业长时间处于等待状态，如何处理？Map端是否读取了小文件？Reduce Task任务耗时，...
配置同步任务
Copy模式：AnalyticDB for PostgreSQL提供copy命令，用于表与文件（标准输出，标准输入）之间的相互复制。数据同步支持使用 copy from 将数据加载到表中，并且在遇到冲突时会使用新数据覆盖旧数据，建议您在遇到性能问题时再尝试使用该策略...
VACUUM
VACUUM FULL 将表的整个内容重写到一个新的磁盘文件中，并且不包含额外的空间，这使得没有被使用的空间被还给操作系统。这种形式的命令更慢并且在其被处理时要求在每个表上保持一个排他锁。当选项列表被包围在圆括号中时，选项可以被写成...
EMR Kafka磁盘故障运维
业务场景 Kafka将日志数据存储到磁盘中，当磁盘出现故障时，会导致磁盘IO能力下降、集群吞吐下降、消息读写延时或日志目录offline等问题。这些情况有可能影响到线上业务平稳运行、数据丢失、Kafka集群容错能力下降，单块盘故障甚至有可能...
DataWorks的审计事件
DataWorks已与操作审计服务集成，您可以在操作审计中查询用户操作DataWorks产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过Open...
实例内第三方软件安装与配置问题
本章节汇总了云服务器ECS实例内第三方软件安装与配置的常见问题及处理方法。Linux系统软件源配置问题 说明 进入 阿里云官方镜像站，找到所需的Linux系统，查看对应的源配置说明。您可以 通过脚本文件自动更新Linux实例中的软件源。CentOS 6...
数据库
本章节主要介绍 PolarDB PostgreSQL版 中的不同视图详细信息，可通过查询不同视图获取相关实例信息，进而方便定位性能问题。数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计...
数据库
本章节主要介绍 PolarDB PostgreSQL版（兼容Oracle）中的不同视图详细信息，可通过查询不同视图获取相关实例信息，进而方便定位性能问题。数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库...
Spark Load
数据预处理 数据预处理的基本流程如下：从数据源读取数据，上游数据源可以是HDFS文件，也可以是Hive表。对读取到的数据完成字段映射、表达式计算，并根据分区信息生成分桶字段bucket-id。根据StarRocks表的Rollup元数据生成RollupTree。遍...
管理健康报告
针对此问题，建议您：结合表的实际数据规模，科学合理地选择分区与分桶的数量，以有效避免小文件问题的发生。通过适度增大批量处理的规模，可以在提高整体数据处理吞吐量的同时，有效减少对象存储中的小文件数量。虽然Compaction能够整合...
OSS与文件系统的对比
对象存储 OSS 文件系统 Object 文件 Bucket 主目录 Region 无 Endpoint 无 AccessKey 无 无 多级目录 GetService 获取主目录列表 GetBucket 获取文件列表 PutObject 写文件 AppendObject 追加写文件 GetObject 读文件 DeleteObject 删除...
使用DLA访问
由于只有CU的计算资源与Lindorm文件引擎网络可以连通，因此所有访问文件引擎表的SQL语句都需要指定 hint：/*+pool-selector=your-vc-name*/，指定后SQL语句会在CU中执行。pool-selector=test-vc*/alter table p add partition(d=1)location...
媒体处理常见问题
说明 metadata中的时长与实际持续的码流时长不一致可能导致转码失败，对于metadata有问题的文件，建议您先本地使用ffmpeg工具处理，再进行上传转码。协议不支持。在 错误码表 中找到对应的错误码，分析具体失败原因。如果您添加的文本水印...
SQL查询
支持下面几类文件目录添加至SQL查询文件目录，添加为目录后您可快速查看相应目录下的SQl文件或者数据表，对于数据表支持您快速查看表结构并快速生成查询SQL。目前支持添加的目录分以下几种：推荐目录：提供我的收藏、我的MaxCompute表、...
上传应用
同时，便于开发人员排查问题，混淆工具会生成一个符号表文件，如dSYM文件（iOS）、应用Mapping文件（Android），文件记录了源代码与混淆代码的映射关系，只有通过符号表对错误调用栈解混淆后，才能看到真实的出错堆栈。操作步骤 在页面左侧...
什么是云备份
使用场景 云上数据备份 阿里云ECS实例上的文件目录、自建MySQL、Oracle、SQL Server、SAP HANA、NAS、OSS、Tablestore等关键数据可以高效地通过内网备份到备份库，提供MySQL、Oracle数据库近0 RPO实时备份功能。其他云平台的数据也可以备份...
静态网站托管概述
如果您还开通了子目录首页，则子目录下也应存在此文件。默认404页是您通过浏览器访问Bucket内文件出现404错误时，OSS返回的错误页面。您为默认404页指定的文件必须是Bucket根目录下允许被匿名访问的文件。您可以通过将默认首页或者默认404...
访问SMB共享目录
背景信息 通过Windows操作系统中的客户端访问本地文件网关，首先需要将本地文件网关的共享目录添加到本地的映射网络驱动器，建立本地目录与本地文件网关的共享目录之间的映射。建立映射成功后，您可以像操作本地目录一样操作共享目录。说明...
创建分区表
分区表与OSS目录的关系 在DLA中，可以将存储在OSS中的目录或文件映射成一张分区表，表中的数据是OSS的文件内容，分区列对应OSS中的目录，该目录需遵守以下命名规则：分区列对应表的LOCATION下的一个子目录，目录的命名规则为 分区列名=分区...
Linux实例磁盘空间满和Inode满的问题排查方法
但您系统内的应用可能仍会继续读写原有文件系统空间，这时就有可能出现您的应用报空间不足，但您使用 df 或 du 命令查看磁盘文件目录的容量使用情况时却无法统计到，原因是 df 或 du 命令统计的是当前挂载点对应的分区使用情况。...
本地运行
my_project(项目空间目录)|_|_wc_in(表数据目录)|_data(文件)|_(文件)|_wc_out（表数据目录）|_data(文件)|_(文件)|_|_table_resource_name(表资源)|_|_file_resource_name（文件资源）my_project 的同级目录表示项目空间。wc_in 及 wc_...
Linux操作系统云虚拟主机无法删除目录或文件
问题原因 目录或文件无法删除大多由权限问题或存在隐藏文件引起，常见的可能原因如下所示：正在删除的目录不是htdocs和myfolder目录 删除htdocs目录下的所有文件或目录 待删除的文件或目录只有读取权限 目录中存在隐藏文件导致无法删除 ...
解决Linux实例磁盘空间满问题
但您系统内的应用可能仍会继续读写原有文件系统空间，这时就有可能出现您的应用报空间不足，但您使用 df 或 du 命令查看磁盘文件目录的容量使用情况时却无法统计到，原因是 df 或 du 命令统计的是当前挂载点对应的分区使用情况。...
目录和文件访问权限
权限名称 文件 目录 Read（R）可以读取文件的内容。查看目录需要Read和Execute权限。Write（W）可以在文件中写入或追加内容。在目录下创建节点需要Write和Execute权限。Execute（X）HDFS 中文件的Execute权限没有意义。遍历目录时需要目录...
备份大规模文件系统
参数 说明 备份文件路径 输入要备份的文件目录。只支持指定一个文件目录，且不支持通配符。该参数必须是相对于 数据源路径 的相对路径。代表备份整个目录。备份文件规则 备份文件规则包含以下三种：包括所有文件：选择此项后，将备份所选...
查杀木马
云虚拟主机的网站木马查杀功能会定期对您的Web目录文件进行安全扫描，一旦发现高危的网站挂马文件和网站后门文件，将向您发送安全通知。您可以将扫描出的高危文件进行隔离，提高网站内容的安全性和纯净度。本文介绍如何进行网站的木马查杀...
数据组织优化
高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，因此需要设计合理的小文件合并服务，即Clustering服务来自动优化此类场景。...
新建和管理标准代码（码表）
码表也称lookup表、数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表可用于标准属性值取值范围的约束。本文为您介绍如何新建和管理标准代码（码表）。权限说明 超级管理员、数据标准管理...
新建和管理标准代码（码表）
码表也称lookup表、数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表可用于标准属性值取值范围的约束。本文为您介绍如何新建和管理标准代码（码表）。权限说明 超级管理员、数据标准管理...
数据迁移概述
Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件的拷贝。从HDFS迁移数据到OSS 将数据迁移至OSS-HDFS OSS-HDFS服务（JindoFS服务）是一款云原生数据湖...
编辑脚本
脚本类型 输入配置 输出配置 创建联邦表 原始样本（多个）联邦表（一个或多个）预处理规则 联邦表（一个或多个）联邦表（一个或多个）预处理应用 联邦表（一个或多个）联邦预处理规则（一个）联邦表（一个或多个）模型开发 联邦表（一个或...
新建脚本
选择脚本文件的类型，目前支持 创建联邦表、预处理规则、预处理应用、模型开发 和 模型评估 类型的脚本文件。创建联邦表：将各节点中相同字段的样本数据集合在一张逻辑表，即联邦表中，并输出联邦表。预处理规则：对输入的联邦表进行预处理...
2024年
修复备份归档进程异常终止时，锁文件未能正确清除，阻塞后续的xlog归档回收流程，进而引起本地日志文件堆积的问题。修复数据处理场景中存储引擎处理特定数据时会触发 negative bitmapset member not allowed 报错信息，导致执行引擎异常...
- 产品推荐
- 这些文档可能帮助您