配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
OSS-HDFS数据源
作为文件通配符，语法类似于通常的Linux命令行文件通配符。重要 数据集成会将一个同步作业所有待读取文件视作同一张数据表。您必须自己保证所有的File能够适配同一套schema信息。您需要在配置OSS-HDFS数据源时填写的AK具有对应OSS-HDFS的...
概览页
基础数据 基础数据中汇总了指定时间区间内，所有质检文件数量统计数据，包括数据集质检和呼叫中心质检，各数据含义如下：名称 解释 文件总数 指定时间区间内进行质检分析的文件总数 命中数 指定时间区间内进行质检分析的文件中，存在命中...
配置HDFS输出组件
加载策略包括覆盖数据和追加数据，适用场景说明如下：覆盖数据：覆盖数据策略下，先删除目标目录下的文件，再新增数据文件。追加数据：追加数据策略下，直接向目标目录新增数据文件。行分隔符 文件类型为Text可配置字段之间行分隔符。非必...
统计信息
执行逻辑 在每次导入事务提交后，SelectDB 将记录本次导入事务更新的表行数用以估算当前已有表的统计数据的健康度（对于没有收集过统计数据的表，其健康度为0）。当表的健康度低于60（可通过参数 table_stats_health_threshold 调节）时，...
CSV数据文件格式
每一个加载任务的加载文件集必须位于Bucket的同一文件夹中，不能使用文件名和文件扩展名来区分点文件和边文件。每个文件都包含一个逗号分隔的标题行，此标题行由系统列标题和属性列标题组成。标题行是数据文件的第一行，由 或 \r 结束，...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
OSS Foreign Table使用技巧
本文介绍OSS Foreign Table相关的使用技巧，例如查看执行计划、收集统计信息、切分大文件以及查看OSS文件信息。查看执行计划 AnalyticDB PostgreSQL版 支持通过EXPLAIN查看OSS Foreign Table查询语句的执行计划。查看执行计划的示例语句...
HDFS数据源
作为文件通配符，语法类似于通常的Linux命令行文件通配符。请注意以下事项：数据集成会将一个同步作业所有待读取文件视作同一张数据表。您必须自己保证所有的File能够适配同一套schema信息，并且提供给数据集成权限可读。注意分区读取：...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
上传数据
参数 配置说明 文件格式 您可以根据待上传的数据文件类型选择文件格式，当前支持 CSV 和 自定义文本文件 两种文件格式，其中自定义文本文件支持.txt、.csv 和.log 类型的文件。选择文件 单击 浏览，根据界面提示选择待上传的数据文件。选择...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
配置blk-iocost权重限速
Alibaba Cloud Linux内核提供了在cgroup v1接口下的blk-iocost统计接口，该接口文件中记录了每个受控制的设备的QoS数据。查看该接口文档的命令如下。cat/sys/fs/cgroup/blkio/blkcg1/blkio.cost.stat 返回结果示例如下。254:48 is_active=1...
关闭IPVS的estimation功能
Alibaba Cloud Linux镜像提供了关闭IPVS的estimation功能的能力，若您不依赖estimation统计数据包数、连接数等信息，建议关闭IPVS的estimation功能，以消除由于统计带来的额外开销和抖动问题。背景信息 什么是IPVS？IPVS（IP Virtual ...
基于YUM的安全更新操作
背景信息 关于Alibaba Cloud Linux安全更新记录，请参见 Alibaba Cloud Linux 3安全公告 和 Alibaba Cloud Linux 2安全公告。Alibaba Cloud Linux安全更新根据CVE的通用漏洞评估方法（CVSS3）的评分，将安全更新分为以下四个等级：Critical...
使用clickhouse-client导入数据
当您需要将本地文件的数据导入到云数据库ClickHouse时，本文将指导您如何通过clickhouse-client工具进行数据导入，以帮助您快速的完成数据导入。注意事项 支持导入到 云数据库ClickHouse 的常见文件格式为TabSeparated、...
如何统计表行数
如果用户存在更新，删除等操作，同一行数据可能分布在多个文件当中。同时，文件的行数元信息是在生成文件时统计的，如果用户使用了TTL功能，文件中的部分数据可能已经过期了，从而导致该信息不准。因此，该值仅仅只是一个估计值。但如果...
历史版本下载
V1.2.0下载 发布时间：2024.04.19 Linux linux64x86 文件：mindopt-install-linux64x86-1.2.0.sh 同意协议并下载 linux64aarch 文件：mindopt-install-linux64aarch-1.2.0.sh 同意协议并下载 Windows windows64 文件：mindopt-1.2.0.msi ...
通过元数据发现导入至湖仓版
企业的业务服务所产生的一些标准化表单、日志等数据文件，会被周期性地上传到OSS。但是这些存储在OSS的数据文件缺少元数据管理，导致数据难以分析和计算。AnalyticDB MySQL 元数据发现任务具备自动映射OSS路径、自动对OSS文件分组、自动...
概述
使用rsync命令行工具迁移数据 支持Linux/Windows/macOS操作系统，本地Linux或macOS系统可配置crontab向云上NAS自动备份数据。上传下载后的文件元数据不变（包括属主及权限信息）。支持数据增量同步。适用大量文件上传和下载或需要频繁上传...
新建离线物理表
首行为标题 根据上传的数据文件选择首行是否为标题。目标分区 如果表为分区表，需输入导入数据的 目标分区 名称。单击 下一步。在 导入数据 步骤中，配置数据表字段的映射关系。映射关系：同行映射：即按相同行数一一对应进行绑定为映射...
新建离线物理表
首行为标题 根据上传的数据文件选择首行是否为标题。目标分区 如果表为分区表，需输入导入数据的 目标分区 名称。单击 下一步。在 导入数据 步骤中，配置数据表字段的映射关系。映射关系：同行映射：即按相同行数一一对应进行绑定为映射...
通过LOAD DATA导入至数仓版
out.bak 文件中共有5000行数据，列分隔符为 \t，行分隔符，其中第8行数据存在问题，如下所示。1 bb 2 bb 3 bb 4 bb 5 bb 6 bb 7 bb bb 8 9 bb.连接AnalyticDB for MySQL集群，通过 CREATE DATABASE 和 CREATE TABLE，在 adb_demo 数据库下...
配置HDFS输入组件
同步HDFS数据源的数据至其他数据源的场景中，您需要先配置HDFS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置HDFS输入组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性...
如何排查slab_unreclaimable内存占用高的原因？
slab_unreclaimable是指在Linux内存管理中由slab分配器分配的且被标记为不可回收（unreclaimable）的内存。当不可回收内存占用总内存的比例过高时，将会影响可用内存与系统性能。本文介绍如何排查Alibaba Cloud Linux系统slab_...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
操作系统Alibaba Cloud Linux 2（停止维护）
AI和数据加速优化 Alibaba Cloud Linux 2对大规格机型和多任务的优化可以提升高性能计算任务的速度，对存储的流式读写的优化也可以提高模型大文件的读写性能，综合起来大大加速AI和高性能计算任务的效率。实际测试场景如下：通过Alluxio...
如何使用Linux系统的atop监控工具
其以一定的频率记录系统和进程活动，采集的数据包含CPU、内存、磁盘、网络的资源使用情况和进程运行情况，并能以日志文件的方式保存在磁盘中。对于每个进程，会显示CPU使用率、内存增长、磁盘使用率、优先级、用户名、状态和退出码等。当...
在EMR集群运行TPC-DS Benchmark
TPC-DS是大数据领域最为知名的Benchmark标准。阿里云E-MapReduce多次刷新TPC-DS官方最好成绩，并且是第一个通过认证的可运行TPC-DS 100 TB的大数据系统。本文介绍如何在EMR集群完整运行TPC-DS的99个SQL，并得到最佳的性能体验。背景信息 ...
proc/meminfo文件中的统计信息变更说明
Alibaba Cloud Linux 2（内核版本 4.19.91-22.al7 开始）和Alibaba Cloud Linux 3的/proc/meminfo 文件内的匿名页状态统计...建议您根据所使用的Alibaba Cloud Linux操作系统中最新的匿名页状态的统计数据，对应用程序的配置进行相应的调整。
整体流程介绍
操作流程 操作步骤 支持方法 准备工作 准备工作 包含如下内容：准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 ...
Linux实例的文件系统检查与修复
概述 本文主要介绍如何检查与修复Linux实例的文件系统。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
如何将ECS实例中的数据备份到本地
方法二：使用OSS命令行 OSS支持通过命令行的方式上传文件，因此Linux的ECS也支持通过命令行将文件上传到OSS，再通过OSS下载到本地。关于使用OSS命令行上传文件的方法，请参见 使用命令行上传文件至OSS。适用于 云服务器 ECS
什么是备份数据量
概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。对于RDS来说，是购买时选择的存储空间；对于ECS来说，是购买时选择的系统盘和数据盘存储空间。数据文件空间 数据...
PyMySQL 连接 OceanBase 数据库示例程序
在 Linux 环境下，可以使用 vi config.py 或者 vim config.py 命令编辑 config.py 文件，修改文件中的数据库连接信息，确保与实际情况相符。config.py 文件中的数据库连接信息示例如下：DB_CONFIG={ 'host':'10.10.10.1','port':3306,'user...
计费常见问题
据统计分析，大部分用户文件系统中80%的数据均为冷数据，按80/20定律进行成本估算，使用低频存储后，原性能型NAS文件系统的有效存储成本可降低至0.49元/月/GiB，原容量型NAS文件系统的有效存储成本可降低至0.19元/GiB/月。购买了资源包什么...
数据湖管理FAQ
目前OSS元数据发现支持的CSV格式为：无文件头，只有数据行的情况。有第一行作为文件头的情况。其他非标准CSV情况都不支持。多库合并/一键建仓相关问题 如何处理一键建仓连接数据库报错：Access denied for user？原因：一般是由于修改了...
- 产品推荐
- 这些文档可能帮助您