数据缓存
概述 File Cache通过缓存最近访问的远端存储系统（HDFS或对象存储）的数据文件，可加速后续访问相同数据的查询。在频繁访问相同数据的查询场景中，File Cache可以避免重复访问远端数据的开销，提升热点数据的查询分析性能和稳定性。原理 ...
设置列索引的排序键
总体流程如下：按照主键索引遍历并将读取到的完整数据保存至数据文件，然后将排序列添加到排序缓存区，其中每个线程使用不同的数据文件，累积达到一定数据后再写入；不断遍历并插入到排序缓存区，当排序缓存区满时，在内存中根据排序键组合...
外部表常见问题
问题现象 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型（例如2019-11-11 06:43:36），会返回如下报错。FAILED:ODPS-0123131:User defined function exception-Traceback:java.lang.IllegalArgumentException at ...
数据安全
启用TDE功能后，Lindorm通过密钥层级结构对数据文件进行加密，所有存储在文件系统中的数据都以密文形式存在。详细介绍及使用说明，请参见 开启透明数据加密（内测中）。数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复...
备份SQL Server数据
DescribeLogBackupFiles-查询实例的日志备份文件 常见问题 Q：数据备份和日志备份是否可以关闭？A：数据备份和日志备份默认开启无法关闭。但您可以减少备份频率，需注意每周至少备份2次。说明 日志备份保留时长与数据备份保留时长保持一致...
添加对象存储OSS数据源
使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备好待添加的对象存储OSS数据源。添加对象存储OSS数据源操作步骤 登录 DataV控制...
添加体验空间数据库
在体验空间模块，单击右上角的 上传数据，打开上传数据文件窗口。在 选择文件 页签，将文件拖拽至添加处或单击 浏览 从本地文件选择需要上传的文件。说明 支持Shapefiles文件和GeoJSON文件。Shapefiles格式文件需要将.shp、.dbf、.prj、....
添加对象存储OSS数据源
使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备好待添加的对象存储OSS数据源。添加对象存储OSS数据源操作步骤 登录 DataV控制...
云数据库录入
A：可根据如下操作步骤解决此问题：登录 数据管理DMS 5.0。在DMS首页左侧的 数据库实例>未登录实例 列表中，找到并右键单击目标Redis实例，单击 编辑实例。在 高级信息 区域 开启SSL。开启后，单击 测试连接。待测试成功后，单击 保存。...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
JindoFS实战演示
数据迁移 文档链接 视频链接 视频发布时间 描述 高效迁移HDFS海量文件到OSS 高效迁移HDFS海量文件到OSS 2021-05-11 通过Hadoop DistCp将HDFS海量文件同步到OSS存在很多问题，例如文件数量太大造成内存溢出、同步效率慢、无法保证数据一致性...
OSS数据源
企业的业务服务所产生的一些标准化表单、日志等数据文件，会被周期性的直接上传到OSS。但是这些存储在OSS的文件缺少元数据管理，导致难以分析和计算。元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张...
重要组件
Primary即为拥有读写权限的读写库，Replica即为只读实例，仅仅拥有读取数据的权限（后台线程也不能修改数据），Primary和Replica采用Shared Everything架构，即底层共享同一份数据文件和日志文件。StandBy节点拥有一份独立的数据和日志文件...
添加数据
前提条件 已在云存储上存储了数据文件。背景信息 空间数据支持添加的 数据类型与格式有：数据类型 数据格式 矢量 Shapefile GeoJSON CSV GDB PostGIS 栅格 GeoTIFF Images NetCDF 倾斜摄影 OSGB S3M 3DTiles BIM RVT DGN IFC 点云 LAS PCD ...
导入结构和数据
单表导入时支持导入 CSV 文件，CSV 文件是.csv 或.txt 结尾的支持自定义分割符的数据文件。注意事项 Web 版 ODC 对导入上传的文件大小有限制，最大支持导入 2GB（压缩后）的文件，超出部分无法上传。如需导入大量数据，请使用导数工具 ...
Transaction Table2.0概述
完全自动化管理数据文件，保证更好的读写稳定性和性能，自动优化存储效率和成本。基于MaxCompute平台完全托管，用户可以开箱即用，没有额外的接入成本，功能生效只需要创建一张新类型的表即可。作为完全自研的架构，需求开发节奏完全自主可...
挂载访问概述
受NFS协议本身性能影响，数据和元数据的IOPS性能低于POSIX客户端，推荐访问100 KiB及以上数据文件使用。更多信息，请参见 产品规格。访问控制 NFS v4 ACL。NFS v4 ACL基于IP和IP段的只读和读写控制。推荐场景 ECS。容器（K8s/ACK/ECI）、...
层级生成器功能介绍
将自定义绘制的边界数据制作成层级下钻结构数据后，您也可以将其导出成DataV专有格式，并将该导出的层级结构数据文件，应用到 基础平面地图 3.0 组件的 自定义区域下钻层 子组件中，具体生成层级结构数据及应用到DataV组件的操作方法，请...
如何选用NAS、OSS和EBS？
如：AI计算、基因计算、药物计算、容器共享PV、日志数据持久化、CI/CD平台、云桌面数据文件共享等 主要应用于基于对象API开发的互联网应用程序的数据存储。如：互联网业务的音视频存储、数据湖、云相册、个人/企业网盘类应用 适用于OLTP...
使用MaxCompute控制台（离线）
仅支持上传一个CSV文件或XLSX文件：CSV文件：最大支持上传5 GB数据，文件里的数据以半角逗号（,）分隔。XLSX文件：最大支持上传100 MB数据。默认仅上传XLSX文件中首个Sheet页的数据，如果有多个Sheet，则其他Sheet的数据将被忽略。阿里云...
MySQL存储计算分离实践
xr-x 1 root root 0 11月 18 18:53 mysql-5.7.26 初始化MySQL数据库 创建数据文件存放目录 在DBFS服务挂载目录下，创建数据库目录“my3307”，可输入“ls-lrt”查看创建情况，如图所示 总用量 0 drwxr-xr-x 1 root root 0 11月 18 18:53 ...
使用SSMS迁移上云
SELECT SUM(b.rows)AS 'RowCount' FROM sysobjects AS a INNER JOIN sysindexes AS b ON a.id=b.id WHERE(a.type='u')AND(b.indid IN(0,1))查询数据大小（返回数据文件大小和空间占比率）use;SELECT a.name[文件名称],cast(a.[size]*1.0/...
Windows挂载NFS协议的通用型NAS文件系统
由于Windows系统对NFS协议的兼容程度较低，建议仅在需要跨操作系统共享数据的情况下使用Windows系统挂载NFS协议文件系统。本文主要介绍如何将NFS协议文件系统挂载至云服务器ECS（Windows）上并执行读写操作。前提条件 已创建NFS协议的通用...
常见问题总览
本文档介绍了 数据安全中心DSC（Data Security Center）服务的常见问题和解决方法。功能相关 数据安全 数据授权 数据扫描和识别 数据脱敏 水印使用限制 支持列表 支持识别的原子模型 支持识别的OSS文件类型 支持的数据脱敏算法
修饰词
在 数据导入 页签上传并预览数据文件。您可选择仅预览DataWorks中已存在的同名字段，根据需要进行同名字段的删除、修改等处理。说明 导入模式 及 导入状态 根据所选导入类型确定。导入模式：当DataWorks中已存在导入文件的同名对象，则导入...
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
时序引擎版本说明
3.4.26 发布日期 类型 说明 2023年03年14日 新特性 数据文件支持时间窗口整理。新增降采样算子irate。Lindorm ML：支持以SQL函数嵌套方式，结合时序非降采样算子进行异常检测。时序预测支持历史协变量。功能优化 修复在PrepareStatement...
Oracle永久增量备份
背景信息 Oracle永久增量备份的原理如下：执行完整全量备份（Full Backup），即RMAN Level 0级备份，将备份Oracle所有的数据文件，同时备份归档日志，参数文件和控制文件。增量合成备份（Synthetic Backup）：生成快照并挂载至本地：生成上...
2024年
修复数据处理过程中系统在尝试读取数据文件的特定块时发生错误，触发 beam could not read block in file 报错。该版本调整了文件读取逻辑，增强了对文件块损坏或不可读状态的容错处理，确保数据读取过程的稳定性和可靠性。修复查询监控...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
层级生成器功能介绍
导入层级.json 单击层级树面板下方的 导入层级.json 按键，您可以在本地电脑内选择一个保存完整的层级数据文件，层级文件支持DataV专有格式和开放格式两种。导出层级（DataV专有）单击层级树面板下方的 导出层级（DataV专有）按键，您可以...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
迁移失败常见原因及解决方案
原因分析 数据地址中填写的Prefix无效或数据地址中无任何文件。解决方案 确认填写的Prefix正确。确保数据地址中至少有一个文件。案例十二：迁移后源端和目的端数据量相差较大 现象描述 某客户迁移NAS文件时，源端实际数据量5.8 T，但迁移到...
术语
存储空间（Storage Capacity）存储空间是指数据文件、索引文件、日志文件（在线日志和归档日志）和临时文件等占用的空间。说明 购买 PolarDB 后，系统会自动创建数据库正常运行所需的相关文件并占用一定的存储空间，包括上述几种文件。
管理健康报告
Top导入热表潜在小文件分析 针对表级别的数据导入情况，系统将会对每个表的所有导入任务生成的数据文件进行深入分析，以评估其潜在的小文件问题严重程度，并据此计算出一个影响得分。根据该得分从高至低排序，选出Top 20个受小文件问题影响...
文件系统存储类型
大数据分析 低频存储可以为基因测序数据、GIS地理信息数据、票据影像数据和音频录音文件数据等海量非结构化的数据提供低成本、大容量的存储空间，同时还可以实时访问数据。备份存储 若您使用通用型NAS作为MySQL、Redis、MongoDB等数据库的...
实例状态显示“锁定中”时如何解决？
数据文件 数据库引擎 处理方法 MySQL 通过DMS连接实例，详情请参见 通过DMS登录RDS数据库。执行以下SQL语句，查看数据库的表大小，确认其中可以删除的历史数据或无用数据。SELECT TABLE_NAME,concat(round((DATA_LENGTH+INDEX_LENGTH)/1024...
实例状态显示“锁定中”时如何解决？
数据文件 数据库引擎 处理方法 MySQL 通过DMS连接实例，详情请参见 通过DMS登录RDS数据库。执行以下SQL语句，查看数据库的表大小，确认其中可以删除的历史数据或无用数据。SELECT TABLE_NAME,concat(round((DATA_LENGTH+INDEX_LENGTH)/1024...
实例状态显示“锁定中”时如何解决？
数据文件 数据库引擎 处理方法 MySQL 通过DMS连接实例，详情请参见 通过DMS登录RDS数据库。执行以下SQL语句，查看数据库的表大小，确认其中可以删除的历史数据或无用数据。SELECT TABLE_NAME,concat(round((DATA_LENGTH+INDEX_LENGTH)/1024...
- 产品推荐
- 这些文档可能帮助您