区域热力层（v3.x版本）
GeoJSON提取工具中的数据已更新，需使用新的GeoJSON数据文件。修改参数。以 肇庆市 的区县级GeoJSON数据为例，高要区 文字标注有偏移。使用 DataV.GeoAtlas边界生成器 工具，上传 肇庆市 的区县级GeoJSON数据文件，在 属性表面板 中添加...
引擎类型
搜索引擎 兼容SQL、Solr接口 海量日志、文本、文档等数据，适用于日志、账单、画像等场景。采用存储和计算分离架构设计的分布式搜索引擎，可无缝作为宽表、时序引擎的索引存储，加速检索查询，具备全文检索、聚合计算、复杂多维查询等能力...
mysqldump
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过mysqldump工具，可以将数据库的结构和数据导出到一个文本文件中。该文件包含了创建数据库、表以及插入数据的SQL语句，从而确保数据的完整性和一致性。使用示例 导出 导出test_db...
使用\COPY命令导出数据到本地
本文介绍如何通过\COPY命令将 云原生数据仓库AnalyticDB PostgreSQL版 的数据导出到本地文本文件。注意事项 数据管理DMS不支持\COPY命令，建议使用psql连接实例后使用。关于psql的连接方法，请参见 客户端连接。\COPY与COPY命令的区别 相同...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
文本摘要预测
输入桩 输入桩（从左到右）类型 建议上游组件 是否必选 预测数据 OSS 读OSS数据 是 预测模型 组件输出 文本摘要训练 否 组件配置 页签 参数 描述 字段设置 输入数据格式 输入文件的文本列。默认值为 target:str:1,source:str:1。原文列选择...
使用clickhouse-client导入数据
常见文件格式 说明 TabSeparated 数据按行写入文本文件中，列与列之间通过Tab分割。需要对Tab、换行符、反斜线进行转义处理，分别对应为：\t、\\。NULL值使用 \N 进行表示。TabSeparatedWithNames 与TabSeparated类似，区别是第一行是列名...
Amazon Redshift数据迁移至MaxCompute
PARQUET文件比文本文件更小，数据压缩率更高。本文以IAM角色认证及导出PARQUET格式为例介绍数据迁移操作。新建Redshift类型的IAM角色。登录 IAM控制台，单击 创建角色。在 创建角色 页面的 选择一个使用案例 区域，单击 Redshift。在 选择...
文本摘要训练
输入桩 输入桩（从左到右）数据类型 建议上游组件 是否必选 训练数据 OSS 读OSS数据 是 验证数据 OSS 读OSS数据 是 组件参数 页签 参数 描述 字段设置 输入数据格式 输入文件的文本列。默认值为 title_tokens:str:1,content_tokens:str:1。...
使用mysqldump迁移MySQL数据
该工具可以将自建数据库的结构和数据导出到一个包含创建和插入数据SQL语句的文本文件中，从而确保数据的完整性和一致性。前提条件 RDS实例设置白名单、申请外网地址，以及创建数据库和账号。具体操作，请参见 快速入门。背景信息 由于RDS...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
产品简介
支持离线智能数据处理（文本、文档等）、支持ES等多引擎，系统组件支持模块化（比如搜索引擎兼容等）。安全、稳定、高鲁棒性 服务稳定运行，并以在线工单等方式提供技术支持，具备完善的故障监控、自动告警、快速定位等一系列故障应急响应...
什么是备份数据量
概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。对于RDS来说，是购买时选择的存储空间；对于ECS来说，是购买时选择的系统盘和数据盘存储空间。数据文件空间 数据...
批量添加数据源
您可以通过 数据库备份DBS 的批量添加数据源功能，快速导入大批量同类型的数据源，便于后续对数据源进行管理与备份。功能说明 批量导入功能仅支持MySQL公网自建数据库。...相关文档 添加数据源的更多方式：手动添加数据源 自动添加数据源
CSV
本文介绍如何在DLA中为不同编码格式的CSV类型的数据文件创建表，以及如何通过OpenCSVSerDe处理CSV文件中特殊格式的数据。创建数据文件表之前，您需要先创建OSS Schema，本文示例中所有数据文件表均使用以下OSS Schema。CREATE SCHEMA dla_...
工作原理
文本分析作业按照调度规则定时拉取数据输入文本分析模型，文本分析模型将分析结果写入目标日志库（internal-ml-log）中，并将分析结果绘制为仪表大盘，帮助您快速了解文本分析的结果。配置监控对象：配置待分析的日志字段（字段值为文本...
存储格式与SerDe
STORED AS TEXTFILE 数据文件的存储格式为纯文本文件，默认文件类型。文件中的每一行对应表中的一条记录。STORED AS PARQUET 数据文件的存储格式为PARQUET。STORED AS ORC 数据文件的存储格式为ORC。STORED AS RCFILE 数据文件的存储格式为...
使用DataWorks（离线与实时）
场景2：导入本地文件至MaxCompute 同步能力说明 当前支持将 CSV 和 自定义文本文件 两种格式文件数据导入MaxCompute，其中 自定义文本文件 支持.txt、.csv 和.log 类型的文件。操作入口与通用操作指导 登录 DataWorks控制台，单击左侧导航...
整体流程介绍
操作流程 操作步骤 支持方法 准备工作 准备工作 包含如下内容：准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 ...
添加静态数据
本文档介绍在DataV中添加静态数据文件的方法。前提条件 已准备好待添加的静态数据文件。操作步骤 登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板...
RDS SQL Server空间不足问题
数据空间的回收通常有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...
堆表结构
结构 说明 table files 表文件，由一个或多个数据文件组成，文件数量与文件大小有关，超过1 GB就会生成一个新的数据文件。file 数据文件，由多个数据块组成。page 数据块，由多个数据行组成。page header 数据块头，详细信息请参见 数据...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
重要组件
由于多个主机的数据库实例需要访问块存储上的同一份数据，常用的Ext4等文件系统不支持多点挂载，PolarDB数据库团队自行研发了专用的用户态文件系统，提供常见的文件读写查看接口，支持类似O_DIRECT的非缓存方式读写数据，还支持数据页原子...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
添加CSV文件
前提条件 已准备好待添加的CSV文件数据源。操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 新建数据源。从 类型 列表中，选择 CSV文件。上传CSV文件。说明 CSV文件大小不能超过 512KB，暂不...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
敏感数据溯源
常见问题 目标溯源任务执行结束后，可能的泄漏源 显示 无结果，则可能的原因及解决方案如下：原因一：您所溯源的文件数据量不足，导致水印信息无法还原。解决方案：使用 数据水印 功能生成的水印信息需要提供充足的数据量，才能保证通过...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
OSS数据离线同步至MaxCompute
TXT：是一个纯文本文件，文本格式没有任何限制，您可以在此文件中存储任何类型的文本。CSV（Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号）：其文件以纯文本形式存储表格数据（数字和文本）。...
OSS数据离线同步至MaxCompute
TXT：是一个纯文本文件，文本格式没有任何限制，您可以在此文件中存储任何类型的文本。CSV（Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号）：其文件以纯文本形式存储表格数据（数字和文本）。...
概述
Federated表结构如下：当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器...
导出至OSS
重要 导入到OSS中的文件，数据文件内默认不带列名，只有数据。如果需要导出带列名的文件，请在导入语句前添加hint/*+sql_output_oss_file_head_enable=true*/。INSERT SELECT FROM 功能：如果您的数据在其他表中已经存在，可以通过 INSERT ...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
DECLARE
BINARY 让游标返回二进制数据而不是返回文本格式数据。INSENSITIVE 指示从游标中检索数据的过程不受游标创建之后在其底层表上发生的更新的影响。在PolarDB中，这是默认的行为。因此这个关键词没有实际效果，仅仅被用于兼容 SQL 标准。...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
区域图（v4.0以下版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
- 产品推荐
- 这些文档可能帮助您