数据操作
创建数据表后，您可以通过命令行工具在数据表中插入新数据、更新一行数据、读取数据、删除一行数据、扫描数据以及导入导出数据。插入新数据 在表中插入新数据。您也可以通过导入JSON格式的配置文件来插入新数据到表中。命令格式 put-pk '...
OSS Foreign Table使用技巧
split-l N说明 切分后的小文件需要保证行的完整性，即同一行记录只允许存在同一个文件内，不允许跨文件存放。通过上述方法切分大文件即可保证同一行记录存放在同一文件中。查看OSS文件信息 您可以执行如下操作，获取OSS Foreign Table的OSS...
OSS-HDFS数据源
类型分类 OSS-HDFS数据类型 整数类 TINYINT、SMALLINT、INT、BIGINT 浮点类 FLOAT、DOUBLE、DECIMAL 字符串类 STRING、CHAR、VARCHAR 日期时间类 DATE、TIMESTAMP 布尔类 BOOLEAN 说明 LONG：OSS-HDFS文件中的整型类型数据，例如 123456789...
API列表
CountNodesByNodeGroupId 获取符合分组条件的节点数量 计量统计相关API API 描述 ListGatewayTransferPackets 获取网关上下行数据包 GetGatewayTransferPacketsDownloadUrl 获取网关上下行数据CVS文件 ListNodeGroupTransferPackets 获取...
新旧版本使用指引
IndexVideo-对视频进行自动截帧、分组、识别操作 BatchIndexFileMeta-批量文件元信息建立索引 无 GetFileMeta-获取文件元数据 GetImage-从媒体集中获取一张图片的信息 新版支持获取数据集中所有类型的文件信息。GetVideo-获取一个视频的...
数据脱敏
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
HDFS数据源
说明 如果您想将每一行作为目的端的一列，分隔符请使用行内容不存在的字符。例如，不可见字符 \u0001。分隔符不能使用。否,encoding 读取文件的编码配置。否 utf-8 nullFormat 文本文件中无法使用标准字符串定义null（空指针），数据集成...
在裸设备上创建文件系统
（推荐）对文件系统的数据安全性和性能都有一定要求（数据安全性和性能适中）sudo mount/dev/vdb/media/test 对文件系统的数据安全性要求较高（数据安全性较高、性能偏低）sudo mount-o rw,atime,sync,barrier,data=journal/dev/vdb/media/...
加载矢量数据
ogr2ogr命令行工具 ogr2ogr 是GDAL/OGR提供的矢量数据转换工具，支持Esri Shapefile，MapInfo和FileGDB等常见矢量数据类型。矢量数据类型参见 矢量数据类型。说明 使用ogr2ogr命令行工具加载矢量数据，请先确保GDAL支持postgis驱动格式。...
Tunnel命令常见问题
您可以在Tunnel Upload命令中使用-dbr true 参数忽略脏数据（多列、少列及列数据类型不匹配等情况）。dbr 参数默认值为False，表示不忽视脏数据；当值为True时，会将不符合表定义的数据全部忽略。详情请参见 Upload。使用Tunnel Upload命令...
API概览
GetFileProtectDashboard 获取文件保护看板数据 获取核心文件监控功能大盘信息，包括生效规则数量、插件安装情况等。ListFileProtectEvent 获取核心文件保护告警事件列表 根据相关条件，筛选出符合条件的规则列表。DeleteFileProtectRule ...
mysqlclient 连接 OceanBase 数据库
说明 字段年龄的数据类型是整型。示例如下：Enter age：十八 返回插入数据错误信息，显示(1366,'Incorrect integer value')。最后，显示指令说明，提示用户可以输入 1、2 或 3，按回车键执行相应操作。示例如下：(1366,'Incorrect integer ...
扩容分区和文件系统（Linux）
在ECS控制台上扩容云盘容量后，对应分区和文件系统并未扩容，您还需要进入ECS实例内部继续扩容云盘的分区和文件系统，将扩容部分的容量划分至已有分区及文件系统内，使云盘扩容生效。本文为您介绍如何通过两个步骤完成Linux实例云盘的分区...
读写访问文件类问题
调用flock(fd,LOCK_EX|LOCK_NB)尝试获取文件锁，如果获取失败（如锁已被占用）则会返回错误，此时可以继续重试或进行错误处理。文件锁获取成功后，调用lseek(fd,0,SEEK_END)将fd当前的写入偏移定位到文件末尾。执行正常的write操作，此时...
高级管理FAQ
执行数据取回任务时，需要读取目标文件中的数据，将按照目标文件大小和文件存储类型收取低频存储或归档存储读流量费用。数据取回任务完成后，文件占用通用型NAS存储容量，将按照文件大小收取通用型NAS文件系统存储容量费用。更多信息，请...
初始化大于2 TiB数据盘
一块全新的数据盘挂载到ECS实例后，还不能直接存储数据，通常您需要完成分区、挂载文件系统、磁盘联机等初始化操作后，才能供系统读写数据。本文介绍如何在Linux系统和Windows系统中初始化一块大于2 TiB的数据盘。前提条件 数据盘已挂载到...
配置脚本代码节点
通过任务编排中的脚本代码可以实现周期性或定时运行脚本，本文介绍配置基于数据库网关的脚本代码节点。背景信息 很多任务以脚本的方式存在于服务器中，脚本代码节点结合数据库网关，可以实现这些脚本的统一调度。例如：使用高级的工具...
备份加密
备份文件类型 解压命令 tar 压缩包（.tar.gz 后缀）tar-izxvf test1.tar.gz-C/home/mysql/data xbstream 压缩包（.xb.gz 后缀）gzip-d-c test1.xb.gz|xbstream-x-v-C/home/mysql/data xbstream 文件包（_qp.xb 后缀）#先解包 cat test1_qp....
使用本地客户端（odpscmd）连接
安装并配置MaxCompute客户端 说明 客户端从v0.27.0版本开始支持MaxCompute 2.0新数据类型，推荐使用新数据类型。支持的数据类型列表，请参见 2.0数据类型版本。安装并配置MaxCompute客户端的操作流程如下：下载 MaxCompute客户端安装包...
挂载访问FAQ
目前仅支持Linux操作系统挂载NFS文件系统，Windows操作系统挂载SMB文件系统、Windows操作系统挂载NFS文件系统及Linux操作系统挂载SMB文件系统场景，请您登录ECS实例执行命令挂载。更多信息，请参见 Windows系统挂载SMB文件系统、Windows...
客户端命令行工具的安装和使用
mseutil是一个命令行工具，支持在Linux、macOS和Windows客户端运行环境下诊断MSE实例，同时也支持查询和操作MSE实例的数据。本文以Linux系统为例，介绍如何获取和使用mseutil工具，以及mseutil的命令详情。前提条件 创建Nacos引擎 或 创建...
Go-SQL-Driver/MySQL 连接 OceanBase 数据库示例程序
插入一行数据到表 t1 中，设置该行数据的 str 字段的值为 Hello OceanBase。代码如下：_,err=db.Query("insert into t1 values('Hello OceanBase')")if err!nil { log.Fatal(err)} 查询数据。查询表 t1 中的所有数据，并将查询结果赋值给...
历史版本下载
V1.2.0下载 发布时间：2024.04.19 Linux linux64x86 文件：mindopt-install-linux64x86-1.2.0.sh 同意协议并下载 linux64aarch 文件：mindopt-install-linux64aarch-1.2.0.sh 同意协议并下载 Windows windows64 文件：mindopt-1.2.0.msi ...
如何对JSON类型进行高效分析
传统数据库执行上述SQL时，当使用Nested Loop Join算子时，每一张product表的每一行均需要重复读取purchase表的item整列数据，同时反复解析JSON列数据并抽取出指定字段，使得查询效率不佳。传统数仓解决方案 数据仓库的处理流程通常包括...
初始化小于等于2 TiB数据盘（Linux）
一块全新的数据盘挂载到ECS实例后，还不能直接存储数据，通常您需要在数据盘进行分区、文件系统格式化、挂载文件系统等初始化操作后，才能供系统读写数据。本文介绍如何在Linux系统中初始化一块小于等于2 TiB的数据盘。前提条件 数据盘已...
离线同步常见问题
读取MaxCompute（ODPS）表数据时，添加一行注意事项 读取MaxCompute（ODPS）表数据时，如何同步分区字段？读取MaxCompute（ODPS）表数据时，如何同步多个分区数据？如何处理表列名有关键字导致同步任务失败的情况？读取Loghub同步某字段有...
如何使用DataV Proxy
DataV Proxy应用是一个可视化的DataV Proxy（DataV数据代理服务）配置工具，您可以通过DataV Proxy应用访问本地或内网等不对外开放且无外网访问地址的数据库，保证数据的安全性。本文档为您介绍DataV Proxy应用的启动方法和相关功能，帮助...
通过Lindorm-cli连接并使用宽表引擎
数据查询 数据有多种输出格式，包括 表格输出、CSV格式输出 以及 每一行中的列竖直输出。您可以通过 format 命令自定义数据的输出格式，修改数据的输出格式后，通过SELECT语句查询的数据将按指定格式输出。如果未指定输出格式，默认以表格...
使用Python读文件
cat>openfile.py*-coding:utf-*-import os import sys sys.path.append('/tmp/chars/')import openpyxl print '=python execute ok=' print("start=")args=sys.argv#打开excel文件，获取sheet名 wb=openpyxl.load_workbook(args[1])#wb.get...
RDS MySQL物理备份文件恢复到自建数据库
本文介绍如何使用Percona XtraBackup工具，将RDS MySQL的物理备份文件恢复到自建数据库。背景 RDS MySQL支持将实例备份文件恢复到自建数据库，当前支持物理备份文件恢复、逻辑备份文件恢复等多种方式。如何选择数据恢复方案，请参见 数据...
手动下载备份集
Linux系统 方式一：执行 xbunpack-file=<下载任务ID>.xb-dir=<解压目标存放目录>命令，获得解压文件。方式二：执行 cat<下载任务ID>.xb|./xbunpack-dir=<解压目标存放目录>命令，获得解压文件。获取工具请单击 xbunpack.exe（Windows系统）...
通过SMC客户端导入迁移源
迁移源概指您的待迁移IDC服务器、虚拟机、其他云平台的云主机或其他类型的服务器。使用SMC迁移时，您首先需要导入迁移源，再登录SMC控制台进行迁移。本文介绍通过SMC客户端导入迁移源的操作步骤。前提条件 已完成准备工作。更多信息，请...
数据集管理
文件获取类型：本地文件上传：从本地上传数据文件获取数据文件。使用OSS文件：从OSS中获取数据文件。单击 去授权 跳转至授权页面。在 云资源访问授权 页面，系统默认开通 AliyunVIAPIRegenDefaultRole 权限，单击 同意授权。授权成功后，...
备份加密
备份加密是利用备份工具（Xtrabackup）的加密能力对专属集群MyBase for MySQL实例的备份进行加密，以此来提高数据的安全性。前提条件 实例类型为如下之一：MyBase MySQL 8.0高可用版（本地SSD盘）MyBase MySQL 5.7高可用版（本地SSD盘）...
数据写入、更新、点查场景压测最佳实践
Hologres是兼容PostgreSQL协议的一站式实时数仓引擎，支持海量数据实时写入、实时更新、实时分析，既支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），又支持高并发低延迟的在线数据服务（Serving）。本文为您介绍Hologres在数据写入、...
日志字段详情
基线类型及子类型列表 类型名称 子类型名称 描述 hc_exploit hc_exploit_redis 高危风险利用-Redis未授权访问高危风险。hc_exploit hc_exploit_activemq 高危风险利用-ActiveMQ未授权访问高危风险。hc_exploit hc_exploit_couchdb 高危风险...
运维管理
记录CPU信息，它是一个文本文件，用于保存Java应用中各线程在某一时刻的运行位置，即执行到哪一个类哪一个方法哪一行上。HeapDump：Java堆分析。记录内存信息，它是一个二进制文件，用于保存某一时刻JVM堆中对象使用情况。JperfDump：一个...
集群恢复：按时间点恢复
read-from-remote-server-raw 表示将获取到的Binlog文件按数据原有格式打印，而不会展示解析后的数据。raw mysql-bin.*通过 show binary logs;命令获取的目标Binlog文件的名字，即 Log_name。mysql-bin.000005 示例：mysqlbinlog-utest_api...
2023年
JSON_VALID JSON_PARSE JSON_FORMAT JSON_TYPE JSON_PRETTY JSON_EXTRACT JSON_ARRAY JSON_OBJECT JSON_EXISTS 2023-06-29 新增MaxCompute JSON类型使用指南（试用Beta版本）新说明 MaxCompute当前支持了JSON数据类型，提高了表中带有JSON...
console命令工具
前提条件 在使用console工具前，请您确认已满足如下条件：待安装console的设备已安装Java 8或以上版本 安装并配置console客户端 下载命令行工具进行 datahub_console.tar.gz 并解压 解压下载的安装包文件，得到bin、conf、lib文件夹 ...
- 产品推荐
- 这些文档可能帮助您