管理健康报告
Top导入热表潜在小文件分析 针对表级别的数据导入情况，系统将会对每个表的所有导入任务生成的数据文件进行深入分析，以评估其潜在的小文件问题严重程度，并据此计算出一个影响得分。根据该得分从高至低排序，选出Top 20个受小文件问题影响...
迁移数据至阿里云NAS
以ECS为例，您可以用Linux系统挂载NFS文件系统或Windows系统挂载SMB文件系统，然后就像访问本地数据一样访问NAS上的文件数据。具体操作，请参见 Linux系统挂载NFS文件系统 和 Windows系统挂载SMB文件系统。您也可以在云上搭建业务应用，在...
命名词典
批量导入仅支持导入.xlsx 格式文件，每次最多可导入30000条数据，并且文件大小不超过10MB。查看导入结果。在 完成 页签，您可查看导入结果详情。单击详情列表命名词典后的 更多详情，即可跳转至该命名词典的编辑界面，执行更多命名词典相关...
表设计最佳实践
使用MaxCompute客户端执行Tunnel命令上传时，将本地大文件切分过小会导致上传后产生大量小文件。通过DataHub执行数据归档，DataHub的每个Shard写入MaxCompute时存在条件限制，即数据总量达到64 MB就Commit 1次，或每隔5分钟Commit 1次，...
通过文件管理优化性能
如果不可能存在查询的数据，则可以直接跳过，如果可能存在被查询的数据，则需要扫描表文件，但被扫描的表文件中不一定包含查询的数据，我们将这种判断表文件中包含查询数据，但实际并不存在的情况称为假阳性。为了能尽可能多的跳过和查询...
修饰词
修饰词是基于选择的数据域创建的，是对数据域中的数据不同维度的修饰，用来限定统计数据的业务范围。例如，统计上海区域生鲜门店的销售金额，上海区域和生鲜门店就是对业务范围的限定修饰。前提条件 已创建数据域，用于确定修饰词所属的...
基础管理FAQ
如何快速删除文件系统中过大的存储文件数据？无相互包含关系的子目录可以并行删除，您可以同时开启多个终端，进入NAS挂载目录（例如/mnt），然后执行 rm-rf 命令，删除没有相互包含关系的子目录。NAS能否切换VPC？说明 通用型NAS可以添加两...
JMeter使用CSV参数文件
选中CSV文件后的 切分文件 复选框，可将CSV文件中的数据切分到每个压测引擎上。具体说明参见下一章节 CSV文件切分。如下图所示。CSV文件切分 PTS自动根据场景并发数分配JMeter施压引擎。分配多个引擎时，PTS支持切分CSV文件，将CSV文件中的...
JMeter使用CSV参数文件
选中CSV文件后的 切分文件 复选框，可将CSV文件中的数据切分到每个压测引擎上。具体说明参见下一章节 CSV文件切分。如下图所示。CSV文件切分 PTS自动根据场景并发数分配JMeter施压引擎。分配多个引擎时，PTS支持切分CSV文件，将CSV文件中的...
如何选择文件引擎规格
Lindorm文件引擎（LindormDFS）是面向海量非结构化数据的分布式文件存储服务，与多模引擎共享存储底座，提供数据库级的安全可靠性。LindormDFS与开源HDFS保持100%通信协议兼容，使用开源客户端可直接访问，无缝接入所有开源大数据生态与云...
列存索引配置参数说明
ForCapacity：优先考虑存储空间，尽可能地将数据切分后跨越多个文件进行写入，以最大化减少内部碎片，每次写入最多产生1个4 KB的内部碎片。ForPerformance：优先考虑性能，每次写入时选择一个ExtentSize最合适的文件。IO性能最好，内部碎片...
通过导入工具导入至数仓版
步骤二：导入数据准备 说明 您还可以使用Linux的 split 命令对大文件进行切分（建议切分后的文件大小为1 GB~2 GB），文件切分后会形成更多的分片，更利于 AnalyticDB MySQL版 导入工具执行并行导入，从而提升导入速度，缩短导入时间。...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
SELECT INTO OUTFILE
当指定导出为ORC文件格式时，实际切分文件的大小将是64MB的倍数。如：指定max_file_size=5 MB，实际将以64 MB进行切分；指定max_file_size=65 MB，实际将以128 MB进行切分。delete_existing_files 默认为false。若指定为true，则会先删除...
COMPACTION
目前主要支持两种数据合并方式：Clustering：只是把Commit的DeltaFile合并成一个大文件，不改变数据内容。系统内部会根据新增的文件大小、文件数量等因素周期性地执行，不需要用户手动操作。主要解决小文件IO读写效率和稳定性问题。...
JindoFS介绍和使用
A：Block模式可以管理文件元数据和组织文件数据，因此可以不局限于OSS对象存储，完全可以满足各种大数据引擎对存储接口的需求。这些接口包括但不限于Rename的原子性和事务性能力、高性能本地写入、透明压缩、truncate、append、flush、sync...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
使用扩展属性定制列存索引
表示优先考虑存储空间，尽可能地将数据切分后跨越多个文件写入，以最大化减少内部碎片，即每次写入最多产生1个4 KB的内部碎片。1：ForPerformance。表示优先考虑性能，每次写入一个ExtentSize的文件。IO性能最好，内部碎片率最大化，空间...
概述
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
通过外表导入至数仓版
说明 对于CSV格式、Parquet和ORC格式数据文件，数据量越大，通过外表查询的性能损耗越大。如果您需要进一步提升查询效率，建议您按照后续步骤将OSS数据导入 AnalyticDB MySQL版 后再做查询。创建目标表。在目标数据库 adb_demo 中创建一张...
使用OSS Foreign Table导出数据
关于ORC与 AnalyticDB PostgreSQL版 的数据类型的区别，请参见 ORC文件数据类型对照表。创建OSS Server和创建OSS User Mapping 使用OSS FDW前您需要提前创建OSS Server以及OSS User Mapping。创建OSS Server的具体方法，请参见 创建OSS ...
WorkQueue
在大规模分布式异步训练中，您可以使用WorkQueue进行弹性数据切分，以缓解长尾效应，从而降低模型训练所需的时间。本文介绍WorkQueue的调用格式、参数及其提供的方法。同时，以文件数据源和MaxCompute表数据源为例，介绍实现数据切分的经典...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
整体流程介绍
操作流程 操作步骤 支持方法 准备工作 准备工作 包含如下内容：准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 ...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
OSS Foreign Table使用技巧
本文介绍OSS Foreign Table相关的使用技巧，例如查看执行计划、收集统计信息、切分大文件以及查看OSS文件信息。查看执行计划 AnalyticDB PostgreSQL版 支持通过EXPLAIN查看OSS Foreign Table查询语句的执行计划。查看执行计划的示例语句...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
开启透明数据加密TDE
云原生内存数据库Tair 支持透明数据加密TDE（Transparent Data Encryption），可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能，对RDB数据进行自动加密和解密，以满足提升数据安全性及合规需要。前提条件 实例存储介质为 内存...
开启透明数据加密TDE
云数据库Redis支持透明数据加密TDE（Transparent Data Encryption），可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能，对RDB数据进行自动加密和解密，以满足提升数据安全性及合规需要。前提条件 实例存储介质为 Redis企业版 ...
结果编辑与导出
文件格式 将查询结果导出为 CSV、SQL 或 Excel 文件：导出 SQL 文件：编辑 查询 SQL 语句，选择导出的 查询结果条数限制、文件名称、文件格式（SQL）、文件编码、数据脱敏 和 SQL 文件设置（表名）。导出 CSV 文件：编辑 查询 SQL 语句，...
创建安全联邦学习任务（任务模式）
数据切分（横向切分）：指两边数据结构一致，只是拥有的数据。特征分布 支持使用方【X1+Y】+加持方【X2】和使用方【Y】+加持方【X2】。使用方【X1+Y】+加持方【X2】：指两方都拥有一部分特征数据，其中使用方拥有标签数据。使用方【Y】+...
敏感数据溯源
常见问题 目标溯源任务执行结束后，可能的泄漏源 显示 无结果，则可能的原因及解决方案如下：原因一：您所溯源的文件数据量不足，导致水印信息无法还原。解决方案：使用 数据水印 功能生成的水印信息需要提供充足的数据量，才能保证通过...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...
小文件优化及作业诊断常见问题
产生场景：MaxCompute使用盘古分布式文件系统是按块（Block）存放的，通常文件大小比块大小小的文件（默认块大小为64MB），被称为小文件。以下场景会产生小文件：Reduce计算过程会产生大量小文件。Tunnel数据采集过程中会生成小文件。Job...
计费常见问题
当您在 文件存储 HDFS 版 中写入文件数据产生实际存储容量，则开始计费。文件存储 HDFS 版 服务如何停止计费？如果您确实不再使用 文件存储 HDFS 版 服务，可以删除数据，并删除挂载点，再删除文件系统，即可在下一个账期不产生扣费。删除...
文档管理
separators：处理大型数据切分策略的分隔符，一般无需指定。文档理解 document_loader_name会根据文档名后缀来自动决定使用哪个loader：UnstructuredHTMLLoader：....
概述
Federated表结构如下：当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
下载备份文件
使用场景 除了全量恢复和库表恢复功能外，PolarDB 提供了备份文件下载的功能，您可以将集群备份集对应的备份文件下载到您的本地，用于其他用途，如：查询备份里的数据 查询过去某个时间点的数据 在本地保存一份备份 下载备份用于审计 把...
- 产品推荐
- 这些文档可能帮助您