Hudi概述
您可以实时摄取消息队列（Kafka）和日志服务SLS等日志数据至Hudi中，同时也支持实时同步数据库Binlog产生的变更数据。Hudi优化了数据写入过程中产生的小文件。因此，相比其他传统的文件格式，Hudi对HDFS文件系统更加的友好。近实时数据分析...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
数据下载配置
下载文件配置 Dataphin数据下载支持完整下载文件格式和样例下载文件格式两个方式，并支持设置样例数据的行数。完整下载文件格式：仅支持 CSV 下载格式 样例下载文件格式：支持 CSV 和 Excel 两种文件格式，选择Excel下载格式，支持开启水印...
数据下载配置
下载文件配置 Dataphin数据下载支持完整下载文件格式和样例下载文件格式两个方式，并支持设置样例数据的行数。完整下载文件格式：仅支持 CSV 下载格式 样例下载文件格式：支持 CSV 和 Excel 两种文件格式，选择Excel下载格式，支持开启水印...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
OSS数据源
Schema名称 设置Schema名称，即映射到DLA中的数据库名称（默认每个发现任务会新创建一个独立的Schema）。完成上述参数配置后，单击 创建，开始创建元信息发现任务。说明 元信息发现任务创建完成后，DLA自动在您设定的时间周期运行发现任务...
数据水印
配置项 说明 格式（必选）导出的文件格式，支持 CSV、EXCEL、SQL、JSON（NoSQL）等文件格式。说明 若您选择嵌入文件水印，请在导出时选择EXCEL格式的文件。字符集（必选）导出内容的字符集，支持 默认字符集、GBK、UTF-8、ISO-8859-1 格式...
（可选）步骤三：转换镜像格式
操作步骤 本地为Windows操作系统 您可以按照以下步骤在Windows操作系统上安装qemu-img并转换镜像文件格式。下载并安装 qemu-img。本示例安装路径为 C:\Program Files\qemu。为qemu-img配置环境变量。重要 以下步骤以Windows Server 2008 R2...
弱口令安全最佳实践
该文件格式为：第1行是用户A的用户名，第2行是用户A的口令，第3行是用户B的用户名，第4行是用户B的口令，以此类推。执行 db_load-T-t hash-f/etc/vsftpd/login.txt/etc/vsftpd/login.db 命令。修改/etc/pam.d/vsftpd 文件。在存在 auth pam...
部署与测试
connect ECONNREFUSED 127.0.0.1:3306 根据此错误提示，应该是/api/db_get 对数据库的配置有问题导致的，我们打开/api/db_get.js 看看 该文件引入了 db_config 文件，这个文件里是数据库连接的配置信息，我们继续打开该文件 在 db_config ...
通过Excel导入逻辑表
通过导入标准格式的Excel文件或者Visual Paradigm格式文件方式，批量创建逻辑表以及逻辑表的质量...说明 删除逻辑表不会同时删除数据库中已生成的物理表。后续步骤 创建完逻辑表以后，需要将逻辑表物理化，更多信息，请参见 物理化逻辑表。
结果编辑与导出
编辑结果集 示例：在结果集页签中，插入数据到数据库 odc_test 下的表 employee 中。信息项 示例值 项目名称 odc_4.2.0 数据库名称 odc_test 表名称 employee 在 SQL 窗口中，编辑和执行 SQL 语句以查询表 employee 的数据。SELECT `emp_no...
DataX同步数据
本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提条件 已开通RDS MySQL实例，且RDS MySQL实例的网络类型为专有网络。如何开通RDS MySQL实例，请参见 快速创建RDS MySQL实例。已创建RDS MySQL实例的数据库和...
DataX同步数据
本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提条件 已开通RDS MySQL实例，且RDS MySQL实例的网络类型为专有网络。如何开通RDS MySQL实例，请参见 创建RDS MySQL实例。已创建RDS MySQL实例的数据库和账号...
通过Excel导入逻辑表
通过导入标准格式的Excel文件或者Visual Paradigm格式文件方式，批量创建逻辑表以及逻辑表的质量...说明 删除逻辑表不会同时删除数据库中已生成的物理表。后续步骤 创建完逻辑表以后，需要将逻辑表物理化，更多信息，请参见 物理化逻辑表。
Druid 连接池连接 OceanBase 数据库示例程序
user001&password=*&useSSL=false 步骤三：修改 druid-mysql-client 项目中的数据库连接信息 根据 步骤二：获取 OceanBase 数据库 URL 中获取的信息修改 druid-mysql-client/src/main/resources/db.properties 文件中的数据库连接信息。...
镜像常见格式
VHD文件格式可以被压缩成单个文件存放到本地物理主机的文件系统上，主要包括云服务器启动所需的文件系统。维护简单。可以在不影响物理分区的前提下对它进行分区、格式化、压缩、删除等操作。轻松备份。备份时仅需要将创建的VHD文件进行备份...
2021年
无 OSS外表文件格式 OSS外表支持ORC格式文件。无 batch load优先级 batch load支持通过Hint指定优先级。无 优化 limit N语法性能优化 优化limit N filter算子下推逻辑，提高性能。无 兼容性提升 建表语句对bool/boolean进行兼容。无 数据库...
创建数据集：用于数据标注
文件Demo参考 图像：pictureDemo.manifest 视频：videoDemo.manifest 音频：audioDemo.manifest 创建自定义类型数据集 对比项 从阿里云云产品 操作流程 根据下文的文件格式要求，在本地创建.manifest 或.txt 格式文件。将.manifest 或.txt ...
通过外表导入至数仓版
创建HDFS外表 创建文件格式为CSV的外表 语句如下：CREATE TABLE IF NOT EXISTS hdfs_import_test_external_table(uid string,other string)ENGINE='HDFS' TABLE_PROPERTIES='{"format":"csv","delimiter":",","hdfs_url":"hdfs:/172.17.*.*...
CREATE EXTERNAL TABLE
创建外部数据库的方法，请参见 CREATE EXTERNAL DATABASE。注意事项 不支持跨账号创建外表。OSS外表 重要 OSS Bucket需要与 湖仓版（3.0）集群位于同一地域。仅3.1.9.2及以上内核版本的集群支持创建Hudi外表。如何查看集群内核版本，请参见...
数据湖管理FAQ
文件格式不是CSV格式。OSS存储CSV格式文件时，为什么OSS元数据发现的字段类型不对？这种情况一般原因有：这个字段存在空值，采样推断会向上设置为string类型。CSV文件数据某个字段有不同的类型值。CSV的分隔符格式不对，导致识别的都是...
导出至OSS
在 adb_demo 数据库中创建外表，详情请参见 不带分区的数据文件创建OSS外表。根据外表类型选择执行写入语句，将源数据写入到步骤2创建的外表中。不同的外表类型支持的语法，请参见 未做分区的普通外表语法支持 和 分区外表语法支持。待步骤...
创建同步OSS
2）文件格式同步到OSS中的文件名称采用 ConnectorId 等有含义信息拼接而成，暂时不支持用户修改3）二级目录DataHub同步会根据数据写入DataHub的时间来生成二级目录，默认 Asia/Shanghai 时区，更多配置可参考SDK方式创建。创建同步任务 ...
设置SSL加密
说明 在Java中使用JKS证书文件时，jdk7和jdk8需要修改默认的jdk安全配置，在连接 PolarDB 数据库的服务器的 jre/lib/security/java.security 文件中，修改如下两项配置：jdk.tls.disabledAlgorithms=SSLv3,RC4,DH keySize,RSA keySize若不...
通过外表导入至数仓版
目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台创建存储空间 和 创建目录。已在OSS服务所在的同一VPC中创建 AnalyticDB MySQL 数仓版（3.0）集群，并...
添加CSV文件
常见问题 CSV文件格式问题 需要将原始Excel文件或其他数据格式的文件另存为CSV文件，不能通过直接修改后缀改变CSV文件格式，会出现错误。DataV控制台兼容问题 由于谷歌浏览器对HTTP协议限制，需要使用HTTPS网址打开DataV控制台，再添加CSV...
配置HDFS输出组件
导出压缩文件 支持是否将文件以压缩文件格式导入目标库，可选择 不压缩，直接以所选文件类型导出、gzip 压缩格式、zip 压缩格式。导出列头 选择是否导出列头：导出：会在每一个文件中的第一行输出字段名。不导出：则文件的第一行为数据。...
上传本地文件
参数 说明 文件格式 默认CSV格式。不可修改。列分隔符 可选：逗号、竖线、空格、制表符、自定义。选择 自定义 时，需输入一个可见字符。自定义存储表 选择当前实例下已创建的自定义存储表。重要 该自定义存储表的表结构必须已完成定义。...
表数据管理
导出 CSV 文件：编辑 查询 SQL 语句，选择导出的 查询结果条数限制、文件名称、文件格式、文件编码、数据脱敏 和 CSV 设置（包含列头、空字符串转为空值、字段分隔符、文本识别符 和 换行符号）；导出 Excel 文件：编辑 查询 SQL 语句，...
添加CSV文件
常见问题 CSV文件格式问题 需要将原始Excel文件或其他数据格式的文件另存为CSV文件，不能通过直接修改后缀改变CSV文件格式，会出现错误。DataV控制台兼容问题 由于谷歌浏览器对HTTP协议限制，需要使用HTTPS网址打开DataV控制台，再添加CSV...
常见SSL证书都有哪些格式？
证书文件格式 以下表格介绍了文件的常见格式，您可以参考以下表格区分带有后缀扩展名的证书文件。文件后缀 文件类型 说明*.DER或*.CER 二进制格式 只含有证书信息，不包含私钥。CRT 二进制格式或文本格式 只含有证书信息，不包含私钥。PEM ...
词典
通常，当一个词典配置文件第一次在数据库会话中使用时，数据库会话将只读取它一次。如果你修改了一个配置文件并且想强迫现有的会话取得新内容，可以在该词典上发出一个 ALTER TEXT SEARCH DICTIONARY 命令。这可以是一次“假”更新，它并不...
使用须知
文档格式转换 智能媒体管理支持将48种常见的文件格式转换为JPG、PNG、PDF、TXT、VECTOR 5种目标文档格式。支持的输入文件类型包含如下格式：文字文件：DOC、DOT、WPS、WPT、DOCX、DOTX、DOCM、DOTM 演示文件：PPTX、PPT、POT、POTX、PPS、...
如何优化数据导入导出
数据库实际应用场景中经常需要进行数据导入导出，本文将介绍如何使用数据导入导出工具。测试环境 本文档的测试环境要求如下表：环境 参数 PolarDB-X 版本 polarx-kernel_5.4.11-16282307_xcluster-20210805 节点规格 16核64 GB 节点个数 4...
使用OSS Foreign Table进行数据湖分析
OSS FDW支持多种格式的数据文件，适用不同的业务场景，具体文件格式如下：支持访问CSV、TEXT、JSON、JSONLINE格式的非压缩文本文件。支持访问CSV、TEXT格式的GZIP压缩、标准SNAPPY压缩文本文件。支持访问JSON、JSONLINE格式的GZIP压缩文本...
COPY
因此它们必须位于数据库服务器（不是客户端）的机器上或者是数据库服务器可以访问的。它们必须是 PolarDB用户（运行服务器的用户 ID）可访问的并且是可读或者可写的。类似地，用 PROGRAM 指定的命令也会由服务器（不是客户端应用）直接执行...
如何迁移到DBFS？
本文档主要为您说明在使用阿里云数据库存储DBFS时，如何方便的将数据库迁移到DBFS上。一般存在以下几种常用的方式：主备同步：搭建主备库，通过binary log同步...停机拷贝：停掉数据库服务，将数据库所有文件拷贝到DBFS，再拉起数据库服务。
空间管理
自治服务的空间管理功能提供分层的监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化趋势等等，帮助您从各个维度了解...
导入Amazon S3文件
确认S3文件的真实格式，然后调整 数据格式、压缩格式 或 编码格式 等配置项。如果需要修复已有的乱码数据，请创建新的Logstore和导入配置。日志服务中显示的数据时间和数据本身的时间不一致。设置导入配置时，没有指定日志时间字段或者设置...
- 产品推荐
- 这些文档可能帮助您