功能简介
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。通用资源 提供了自定义函数和函数资源的能力，帮助用户在数据开发等过程中...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
读写外部数据文本文件（oss_fdw）
encoding 文件中数据的编码格式，支持常见的pg编码，如utf8。parse_errors 容错模式解析，以行为单位，忽略文件分析过程中发生的错误。delimiter 指定列的分割符。quote 指定文件的引用字符。escape 指定文件的逃逸字符。null 指定匹配对应...
导出至HDFS
如果目标表内已有数据，执行 REPLACE INTO 语句导入时，已有数据保持不变，新数据会被追加到目标数据文件中。说明 写入的外表必须保持列个数的完整，不允许用户指定只写入一部分的列。REPLACE INTO 为增量写入，会额外产生新的文件，不会...
概述
密钥介绍及处理机制 密钥介绍 用户主密钥（MEK）用户主密钥（Master Enryption Key，简称MEK）是一种高级别的加密密钥，用于加密和保护某个系统或某组数据中的其他密钥。在多层次的密钥管理结构中，用户主密钥位于顶层，不直接用于日常的...
设置列索引的排序键
重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存索引中。增量数据排序流程 增量数据的排序流程是渐进式的，不能保证数据完全有序。总体流程如下：将所有的数据块...
使用OSS外表高速导入OSS数据
DELIMITER用于定义列的分割符：当用户数据中包括DELIMITER时，则需要和QUOTE参数一同使用。推荐的列分割符有,、\t、|或一些不常见的字符。QUOTE用于包裹有特殊字符的用户数据（以列为单位）：包含有特殊字符的字符串会被QUOTE包裹，用于...
Tunnel命令
如果值为True，表示上传的数据文件中可以包含表头，会跳过表头从第二行开始上传数据。mbr 此参数需要配合-dbr 参数使用，当-dbr 设置为true时，设置此参数才有意义。指定可容忍的脏数据量。超过此数据量时，终止上传。默认值为1000条。ni ...
Tunnel命令
如果值为True，表示上传的数据文件中可以包含表头，会跳过表头从第二行开始上传数据。mbr 此参数需要配合-dbr 参数使用，当-dbr 设置为true时，设置此参数才有意义。指定可容忍的脏数据量。超过此数据量时，终止上传。默认值为1000条。ni ...
分析外部OSS上的数据
示例如下：CREATE TABLE `test`(.)COMMENT='columnar=1' CONNECTION='OSS:/${oss_key}:${oss_key_secret}@${endpoint}/${bucket}/orders/2022-09-01/' 上述配置用于读取OSS上 orders/2022-09-01/目录下所有符合条件的文件中的数据。...
OSS-HDFS数据源
类型分类 OSS-HDFS数据类型 整数类 TINYINT、SMALLINT、INT、BIGINT 浮点类 FLOAT、DOUBLE、DECIMAL 字符串类 STRING、CHAR、VARCHAR 日期时间类 DATE、TIMESTAMP 布尔类 BOOLEAN 说明 LONG：OSS-HDFS文件中的整型类型数据，例如 123456789...
HDFS数据源
{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取INT字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/HDFS Reader内部生成alibaba的字符串字段作为当前字段，value表示常量列。} ...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版...因此，建议当您在做数据迁移时，请避免往迁移的文件中写入数据。
通过外表导入至数仓版
ORC文件中的数据类型 AnalyticDB MySQL版 3.0中的数据类型 BOOLEAN BOOLEAN BYTE TINYINT SHORT SMALLINT INT INT或INTEGER LONG BIGINT DECIMAL DECIMAL FLOAT FLOAT DOUBLE DOUBLE BINARY STRING VARCHAR VARCHAR STRING JSON（如果已知...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
查询概述
SelectDB也提供表函数功能（Table-Value-Function或TVF），支持把S3、HDFS等常见远端存储中的文件数据，映射成SelectDB中的表，从而方便地对这些文件数据进行分析。有关SelectDB支持的完整外部数据源及其详细介绍，请参见 湖仓一体 章节...
COPY
对于 COPY FROM，文件中的每个字段将按顺序插入到指定列中。COPY FROM 命令的列列表中没有指定的表列则会采纳其默认值。带一个文件名的 COPY 指示 PolarDB服务器直接从一个文件读取或者写入到一个文件。该文件必须是 PolarDB用户（运行...
导入概述
本地文件导入 数据存储在本地文件中，数据量小于10 GB，可以采用Stream Load方法将数据快速导入StarRocks系统。采用HTTP协议创建导入作业，作业同步执行，您可以通过HTTP请求的返回值判断导入是否成功。Kafka导入 数据来自于Kafka等流式...
功能特性
水印嵌入是指将标识信息嵌入到数据或文件中，使其具备一定的标识度；水印提取是指通过DMS提取文件中不易察觉的水印信息。数据水印 安全访问代理 可以为访问数据库带来更全面的安全保障。实例开启安全访问代理后，您可以使用标准的MySQL、...
TDE透明数据加密
经过数据库身份验证的用户可以透明（不需要更改应用代码或配置）地访问数据，而尝试读取表空间文件中敏感数据的OS用户以及尝试读取磁盘或备份信息的不法之徒将不允许访问明文数据。术语 名词 描述 KEK（Key Encryption Key）密钥加密密钥。...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
导入概述
本地文件导入 数据存储在本地文件中，数据量小于10 GB，可以采用Stream Load方法将数据快速导入StarRocks系统。采用HTTP协议创建导入作业，作业同步执行，您可以通过HTTP请求的返回值判断导入是否成功。Kafka导入 数据来自于Kafka等流式...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
常见问题概览
连接访问 打开SQLConsole页面时提示“未获取到数据库相关信息”的报错 MySQL中出现“Too many connections”报错 新增ECS自建数据库提示“因白名单问题无法连接数据库”账号或权限 如何在DMS控制台中查看数据库对应的DBA 在DMS控制台添加...
mysqlclient 连接 OceanBase 数据库
示例如下：obclient-hxxx.xxx.xxx.xxx-P3306-utest_user001-p*-Dtest 步骤四：修改 config.py 文件中的数据库连接信息 根据 步骤三：获取 OceanBase 数据库连接信息 中的信息修改文件 python-mysqlclient/config.py 中的数据库连接信息。...
PyMySQL 连接 OceanBase 数据库示例程序
test_sql.py 代码介绍 本文获取的 test_sql.py 文件中的代码定义了数据库操作的 SQL 语句，包括创建表、插入数据、查询数据和删除表，这些 SQL 语句可以通过 PyMySQL 连接数据库后执行，以实现相应的功能。该文件中的代码主要包括以下几个...
最佳实践
Delta-Lake根据列值自动布局文件中的数据，并在查询时使用布局信息跳过不相关的数据。有关详细信息，请参见 Z-Ordering（多维集群）。选择正确的分区列 您可以按列对Delta表进行分区。最常用的分区列是date。遵循以下两个经验法则来确定要...
迁移数据至阿里云NAS
配置数据传输中转节点后，您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作，请参见 配置数据传输中转节点。使用SFTP客户...
下载日志备份
数据备份文件 日志备份文件 不支持下载数据备份文件，仅可通过恢复功能将数据恢复到新建实例或原实例上。在 基础备份列表 页签下选择 数据备份 标签页，选择目标备份集进行恢复。支持下载日志备份文件。操作步骤 访问 RDS实例列表，在上方...
配置user.xml参数
注意事项 user.xml配置文件中的参数不能使用clickhouse-client工具修改，您可以通过数据管理DMS控制台连接集群，并执行 set 语句修改user.xml配置文件中的参数。如何通过数据管理DMS控制台连接集群，请参见 通过DMS连接ClickHouse。更多...
读写访问文件类问题
解决方案（推荐）不同进程或不同客户端写入同一文件系统的不同文件中，后续分析处理时再进行归并，这个方案能够很好地解决并发写入导致的问题，同时无需使用文件锁，不会对性能造成影响。对于并发追加写同一个文件（如日志）的场景，可以...
导入接口介绍
已将数据文件上传至Bucket中，上传方法请参见 使用OSS控制台上传数据文件 或 使用ossutil工具上传。添加导入任务 使用HTTP POST请求发送至<gdb-endpoint>:<port>/loader 终端，将数据从OSS的Bucket导入至图数据库GDB实例中。注意 MIME类型...
入门概述
通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 与对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 文件存储CPFS（NFS协议）备份 ...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
RDS SQL Server空间不足问题
以上操作通常可以有效降低数据空间大小，但是如果实例空间仍然有压力，可以执行 DBCC SHRINKFILE 命令收缩数据文件，将数据文件中未分配空间释放给操作系统。以上图为例，一个区（Extent）的大小为64 KB，因此数据文件的总空间大小为104584...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
- 产品推荐
- 这些文档可能帮助您