功能特性
添加安全组 透明数据加密 Lindorm支持透明数据加密TDE功能，可以对实例数据和操作日志全加密，保护数据在传输和存储过程中的安全性和隐私性。透明数据加密 审计日志 通过审计日志可以精准分析指定时间段的所有数据操作，同时可以按照指定...
如何优化数据导入导出
可通过字符串处理改成 ',' 分隔，以csv文件方式存储，方法示例：mysql-h ip-P port-u usr-pPassword db_name-N-e"SELECT id,k,c,pad FROM sbtest1;home/data_1000w.txt#原始数据以制表符分隔，数据格式：188092293 27267211 59775766593...
数据集成服务
且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...
错误处理
在将Kafka数据导入到表格存储的过程中可能产生错误，如果您不希望导致Sink Task立即失败，您可以配置错误处理策略。可能产生的错误类型如下：Kafka Connect Error 此类错误发生在Sink Task执行数据导入前，例如使用Converter进行反序列化...
通过MyBatis使用
背景信息 MyBatis是一个Java数据持久层框架，支持自定义SQL、存储过程以及高级映射。使用MyBatis能免除JDBC代码以及设置参数和获取结果集的工作。更多信息，请参见 MyBatis官网文档。注意事项 目前支持使用SQL查询功能的地域有华东1（杭州...
自建Qdrant迁移至AnalyticDB PostgreSQL版
Qdrant是向量相似性搜索引擎，主要用于存储、搜索和管理向量，支持通过Python编程语言将本地Qdrant集合数据迁移到AnalyticDB PostgreSQL版实例中。前提条件 已创建Qdrant集群。已安装Python环境，建议使用Python 3.8及以上版本。已安装所需...
数据湖管理FAQ
围绕OSS对象存储等数据湖存储，构建上层可扩展的数据入湖能力，把Hudi、Delta等高效的对象管理格式和Parquet、ORC等对象格式，写入到数据湖中，并在写入过程中支持UPSERT、小文件合并、MVCC多版本、快照读等能力，用数仓的特性来解决单纯...
通过外表导入至数仓版
AnalyticDB MySQL版 支持通过外表导入导出数据。本文介绍如何通过外表查询HDFS数据，并将HDFS数据导入至 AnalyticDB MySQL 数仓版（3.0）。前提条件 AnalyticDB MySQL版 集群需为V3.1.4.4或以上版本。说明 如何查看集群内核版本，请参见 ...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB for MySQL 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。...
CreateDataFlow-创建数据流动
默认为空，源端存储的任何数据更新不会自动导入 CPFS，需要通过手动任务导入更新。限制：长度为 2~1024 个字符。使用 UTF-8 编码。必须以正斜线（/）开头和结尾。该目录必须是 CPFS 上的已有目录，且必须位于该数据流动的 Fileset 目录中。...
使用OSS中的数据作为机器学习的训练样本
本文介绍如何将此csv文件导入OSS，并连通OSS与PAI，实现商品的关联推荐。操作步骤 数据上传至Bucket。以上传文件为Sample_superstore.csv，上传至华东1（杭州）地域下的目标存储空间examplebucket为例。构造Sample_superstore.csv文件数据...
从MySQL批量导入导出
可以通过两种方式来完成导入：方式1：实时导入，导入过程中数据实时可见，数据是追加的方式导入到目标表中的。insert into hybriddb_import_test select*from mysql_import_test_external_table;方式2：批量导入，导入任务完成后数据才可见...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
Stream Load
dpp.norm.ALL 表示导入过程中正确数据的条数，可以通过 SHOW LOAD 命令查询导入任务的正确数据量。原始文件的行数=dpp.abnorm.ALL+dpp.norm.ALL where 导入任务指定的过滤条件。Stream Load支持对原始数据指定where语句进行过滤。被过滤的...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
功能特性
数据存储 功能集 功能 功能描述 参考文档 元数据存储 宽表模型 宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、...
准备工作
将数据文件（点文件和边文件）导入至图数据库GDB实例前，您需要先准备好需要导入的数据文件、获取导入过程中使用到的实例信息等，使导入操作更加流畅。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建方法请...
导出至OSS
云原生数据仓库AnalyticDB MySQL版 支持通过外表和INSERT INTO方式将 AnalyticDB MySQL版 数仓版（3.0）中的数据导出到对象存储OSS（Object Storage Service）中。将数据导出到OSS功能只支持CSV和Parquet格式文件。前提条件 在 对象存储 ...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
使用Java SDK写入数据时报错The count of attribute ...
问题现象 使用 表格存储 Java SDK写入数据到数据表时出现如下报错：The count of attribute columns exceeds the maximum:128 可能原因 写入数据到 表格存储 数据表时，一行最多支持写入1024列。在使用TableStoreWriter的过程中，客户端会...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
归档为CSV或ORC格式
本文介绍了将冷数据归档为CSV或ORC格式的方法，以及将OSS表数据导回至PolarStore的方法。前提条件 归档为 CSV 格式的文件，企业版 集群版本需满足以下要求，您可以通过 查询版本号 来确认集群版本。产品系列为 集群版，且版本为以下版本之...
通过元数据发现导入至湖仓版
您可以通过创建OSS元数据发现任务，自动发现同地域下OSS的Bucket和数据文件，将OSS中的数据导入至 湖仓版（3.0）。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已上传文件到OSS的Bucket中，且OSS路径格式满足...
通过导入实现删除
为了减轻频繁DELETE操作对于 云数据库 SelectDB 版 实例查询性能的影响，云数据库 SelectDB 版 提供了通过导入方式进行删除数据的解决方法，帮助您优化数据查询性能。概述 使用 DELETE 命令删除时，每执行一次 DELETE 都会生成一个新的数据...
Databricks数据洞察快速使用
步骤五：查询数据 数据表导入后可以通过spark sql读取数据。spark.sql select age,count(1)from db_bank_demo where age<${maxAge=30} group by age order by age 步骤六：查看数据展示 在 DataInsight Notebook 页面，查看可视化数据展示...
添加数据
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和对象存储两种通用的方式添加数据。本文主要介绍如何添加各类空间数据。前提条件 已在云存储上存储了数据文件。背景信息 ...
如何判断是否已生成清单文件？
在清单导出过程中会生成记录Object信息的一个或多个后缀为.csv.gz的清单报告文件。待清单报告文件生成后，会生成汇总清单报告文件的manifest文件。本文介绍判断清单文件是否已生成的两种方式。清单规则配置示例 假设您通过控制台设置清单...
通过LOAD DATA导入至数仓版
本文介绍如何通过LOAD DATA将本地数据导入 AnalyticDB for MySQL 数仓版（3.0）。语法 LOAD DATA LOCAL INFILE 'file_name'[REPLACE|IGNORE]INTO TABLE table_name[{FIELDS|COLUMNS}[TERMINATED BY 'string'][[OPTIONALLY]ENCLOSED BY '...
使用COPY或UNLOAD命令导入或导出数据到OSS
AnalyticDB PostgreSQL版 支持COPY和UNLOAD命令，COPY表示从外表导入数据到本地表，UNLOAD表示从本地表导出数据到外表。COPY和UNLOAD都是基于OSS Foreign Table来完成数据导入导出的，OSS Foreign Table的详细内容请参见 使用 OSS Foreign ...
使用流程
表格存储 提供了控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。本文介绍通过控制台和命令行工具快速使用宽表模型和时序模型的流程。背景信息 使用表格存储前，您需要了解表格存储相关介绍，例如产品概述、基本概念等...
导出全量数据到OSS
如果要以更低成本备份 表格存储 中的全量数据或者以文件形式导出 表格存储 数据到本地，您可以通过DataWorks数据集成服务将 表格存储 中的全量数据导出到OSS。全量数据导出到OSS后，您可以自由下载文件到本地。注意事项 此功能适用于 表格...
OSS与ClickHouse间的数据导入与导出
OSS兼容S3协议，您能够在EMR ClickHouse集群上通过S3表引擎或S3表函数读写OSS中的数据。本文为您介绍如何将OSS中的数据导入至ClickHouse集群及如何将ClickHouse集群上的数据导出至OSS。前提条件 已在OSS上创建存储空间，详情请参见 控制台...
通过SLS完成日志数据入湖OSS
数据湖支持在低存储成本的情况下，更好地满足数据长期存储、查询、分析、读取等需求。本文介绍通过日志服务SLS完成日志数据入湖的操作方式。前提条件 已在日志服务Project所在的地域创建Bucket。具体操作，请参见 控制台创建存储空间。背景...
数据迁移概述
OSS API OSS SDK OSS外部表（gpossext功能）云原生数据仓库AnalyticDB PostgreSQL版支持通过OSS外部表（gpossext功能），将数据导入或导出阿里云对象存储OSS。将数据并行从OSS导入到AnalyticDB PostgreSQL 将数据并行导出到OSS 阿里云Jindo...
创建逻辑模型：明细表
背景信息 结合业务过程的规划，梳理分析各业务过程中可能产生的实际数据，将这些实际数据字段通过明细表的方式存储下来。例如下订单这一业务过程中，您可以创建下订单这一明细表，用于记录下单过程可能产生实际数据字段，例如订单ID、订单...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
Notebook-航空公司数据分析示例
本文针对Notebook的使用，做一个具体的场景示例——航空公司数据导入及分析。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间...
- 产品推荐
- 这些文档可能帮助您