文件存储
postmaster.pid 一个锁文件，记录postmaster进程ID、数据库目录路径、postmaster进程启动时间、端口号等信息。postgresql.conf 参数配置文件。pg_hba.conf 客户端认证控制文件。pg_ident.conf 本地用户名映射文件配置。
创建Hive数据源
背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化HQL或SQL语句为MapReduce、Tez等程序。Hive处理的数据存储在HDFS中。Hive分析数据底层的实现是MapReduce、Tez等...
配置Gremlin请求超时时间
图数据库GDB支持修改客户端向图数据库GDB发送请求数据时的超时时间，您可以根据业务场景和数据量等修改超时时间。本文介绍不同语言环境中配置Gremlin请求超时时间的方法。超时时间简介 客户端向图数据库GDB发送请求数据时，如果请求时间...
对象存储服务路径
为保证数据导入的性能，请确保云数据库与OSS所在Region相同，相关信息请参考 OSS访问域名使用规则。MinIO文件路径 基于 MinIO 的文件路径格式如下：mio:/<id>:<key>@[:]/<bucket>/path_to/file[:]如不指定port参数，会自动使用HTTPS端口。...
创建HBase数据源
Krb5认证文件/KDC Server地址、Keytab FilePrincipal 开启 Kerberos 后，则需要配置如下参数：Krb5文件配置：需要上传包含Kerberos认证域名的Krb5文件。KDC Server地址：配置KDC服务器地址，辅助完成Kerberos认证。说明 支持配置多个KDC ...
跨库查询
当需要查询分散在不同数据库中的数据时，您可以使用 云原生数据仓库 AnalyticDB PostgreSQL 版 的跨库查询功能方便地将数据聚合在一起，进行高效查询，提高数据访问效率。功能介绍 Database是PostgreSQL生态下数据库的最高级别，同一个实例...
本地已有库批量迁移
请确认目前工作目录下2个配置文件（迁移配置文件、代码库范围文件）和存放代码库的文件夹（例如自定义的“repo”）已准备完毕：通过以下命令启动执行迁移：./codeup-cli import-run true#迁移过程中会展示迁移的细节，如果有问题会显示报错...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
在文件存储 HDFS 版上使用Presto
本文主要介绍如何在 文件存储 HDFS 版 上搭建及使用Presto。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8...
入门概述
通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 与对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 文件存储CPFS（NFS协议）备份 ...
名词解释
配置推送 配置管理中，常需要配置管理系统将配置的变更分发到相关的系统，从分发到配置生效的过程称为配置推送。推送轨迹 从配置变更，配置推送到配置生效过程的整个轨迹称为推送轨迹。通过查看某个配置的推送轨迹，我们可以获知一个配置...
通过整库迁移配置集成任务
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建整库迁移 页面。在 新建...
如何迁移到DBFS？
本文档主要为您说明在使用阿里云数据库存储DBFS时，如何方便的将数据库迁移到DBFS上。一般存在以下几种常用的方式：主备同步：搭建主备库，通过binary log同步...停机拷贝：停掉数据库服务，将数据库所有文件拷贝到DBFS，再拉起数据库服务。
离线模式配置概述
配置说明，请参见 离线模式依赖文件配置。依赖关系 流批一体任务 的离线模式通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。配置说明，请参见 离线模式依赖文件配置。
HikariCP 连接池连接 OceanBase 数据库示例程序
在 main 方法中，通过读取 db.properties 文件来配置 HikariCP 连接池，并获取数据库连接。然后依次调用了一系列的方法来创建表、插入数据、查询数据、更新数据和删除数据。如果在操作过程中发生 SQLException 异常，则会打印异常信息的...
DBCP 连接池连接 OceanBase 数据库示例程序
本文 db.properties 文件的代码主要包括以下几个部分：配置数据库连接参数。设置驱动程序的类名，这里是 MySQL JDBC 驱动的类名 com.mysql.jdbc.Driver 。设置数据库连接的 URL，包括主机 IP、端口号、需要访问的数据库等信息。设置数据库...
数据共享
返回信息如下时，表示当前使用的数据库为db02：current_database-db02(1 row)订阅Share，并设置Share的本地别名。IMPORT DATASHARE s01 AS s01a FROM DATABASE";为步骤3中查询到的目标库db01的UUID。在目标库db02中查询源库db01共享的数据...
使用Hadoop作为元仓计算引擎进行元仓初始化
krb5文件配置：需要上传Krb5文件进行Kerberos认证。HDFS配置 HDFS Keytab File：需上传HDFS Keytab文件。HDFS Principal：输入Kerberos认证的Principal名。例如 XXXX/hadoopclient@xxx.xxx。OSS-HDFS集群存储（E-MapReduce5.x Hadoop）初始...
创建配置
您可以将应用中的变量、参数等从代码中提取出来，并存入一个配置文件，这样在需要更改配置时，只需更改此配置文件即可。本文介绍如何创建配置文件。背景信息 说明 ACM进入下线状态，所有配置管理相关的需求由MSE中的Nacos承接（ACM独享版，...
删除配置文件
使用DROP PROFILE命令可删除配置文件。语法如下：DROP PROFILE[IF EXISTS]profile_name[CASCADE|RESTRICT];包括IF EXISTS子句，以指示服务器在所指定配置文件不存在时不引发错误。如果配置文件不存在，服务器将发出通知。包括可选的CASCADE...
DROP PROFILE
删除用户定义的配置文件。语法 DROP PROFILE[IF EXISTS]profile_name[CASCADE|RESTRICT];说明 包括 IF EXISTS 子句，以指示服务器在所指定配置文件不存在时不引发错误。如果配置文件不存在，服务器将发出通知。包括可选的 CASCADE 子句可将...
通用三方代码平台迁移
请确认目前工作目录下2个配置文件（迁移配置文件、代码库范围文件）和存放代码库的文件夹（例如自定义的“repo”）已准备完毕：通过以下命令启动执行迁移：./codeup-cli import-run true#迁移过程中会展示迁移的细节，如果有问题会显示报错...
Nginx网站常见问题排查
less/var/log/nginx/error_log#CentOS/Alinux系统 检查确认异常卡慢页面 分别检查静态页面，数据库调用页面，如果是数据库调用页面卡慢，可以检查下数据库是否有慢SQL等数据库异常情况。如果所有页面都卡慢，检查下主机负载情况，如带宽、...
创建Kafka数据源
通过创建Kafka数据源能够实现Dataphin读取Kafka的业务数据或向Kafka写入数据。本文为您介绍如何创建Kafka数据源。背景信息 Kafka是一种消息队列，用于处理实时数据。Dataphin支持对接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在...
配置脚本模式组件
配置文件 编辑脚本：单击 生成同步配置文件，页面右侧 配置文件 区域，展示输出组件模板。在 配置文件 区域，编写配置文件代码，示例如下。{"table":"tableName","columnMapping":[{"sourceColName":"","dstColName":""}],"parameter":{ } ...
创建Hadoop计算源
如果Hadoop集群有Kerberos认证，则需要开启集群Kerberos并上传Krb5认证文件或配置KDC Server地址：重要 当计算引擎类型为E-MapReduce 5.x时，仅支持 krb5文件配置 配置方式。Krb5认证文件：需要上传Krb5文件进行Kerberos认证。KDC Server...
Druid 连接池连接 OceanBase 数据库示例程序
本文 db.properties 文件的代码主要包括以下几个部分：配置数据库连接参数。指定数据库驱动程序的类名为 com.oceanbase.jdbc.Driver 。指定数据库连接的 URL，包括主机 IP、端口号、需要访问的 Schema。指定数据库的用户名。指定数据库的...
通过执行命令卸载挂载目录
如果您为NFS或SMB文件系统配置了自动挂载脚本且需要重启服务器，您还需要删除或修改自动挂载配置文件/etc/fstab，取消开机自动挂载文件系统。执行 mount-l 命令，查看卸载结果。如果回显中未找到您挂载的NAS文件系统信息，表示该文件系统...
配置脚本模式组件
配置文件 编辑脚本：单击 生成同步配置文件，页面右侧 配置文件 区域，展示输出组件模板。在 配置文件 区域，编写配置文件代码，示例如下。{"table":"tableName","columnMapping":[{"sourceColName":"","dstColName":""}],"parameter":{ } ...
GetDbfs-查询单个数据库文件系统
473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E DBFSInfo object 数据库文件系统实例。Status string 数据库文件系统的状态。取值范围：unattached 待挂载 attached 已挂载 creating 创建中 attaching 挂载中 detaching 卸载中 deleting 删除中 ...
使用定制版 confd 以无侵入方式使用 ACM 配置
confd 是一款开源轻量配置管理工具，通过将存储于 etcd、Dynamodb、Redis、Vault、Zookeeper 等后端存储系统的数据与配置模板结合起来使用，可实现保持配置处于最新状态的目的。confd 支持的后端存储系统不包括 ACM，因此本文以支持 ACM 的...
新建Flink_SQL任务
配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明，请参见 实时模式依赖关系配置。离线模式（Beta）调度配置（必选）：调度配置用于定义节点在生产环境的周期调度方式。...
新建FLINK_SQL任务
配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明，请参见 实时模式依赖关系配置。离线模式（Bate）调度配置（必选）：调度配置用于定义节点在生产环境的周期调度方式。...
新建FLINK_SQL任务
配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明，请参见 实时模式依赖关系配置。离线模式（Bate）调度配置（必选）：调度配置用于定义节点在生产环境的周期调度方式。...
创建Kafka数据源
通过创建Kafka数据源能够实现Dataphin读取Kafka的业务数据或向Kafka写入数据。本文为您介绍如何创建Kafka数据源。背景信息 Kafka是一种消息队列，用于处理实时数据。Dataphin支持对接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在...
数据下载配置
下载文件配置 Dataphin数据下载支持完整下载文件格式和样例下载文件格式两个方式，并支持设置样例数据的行数。完整下载文件格式：仅支持 CSV 下载格式 样例下载文件格式：支持 CSV 和 Excel 两种文件格式，选择Excel下载格式，支持开启水印...
数据下载配置
下载文件配置 Dataphin数据下载支持完整下载文件格式和样例下载文件格式两个方式，并支持设置样例数据的行数。完整下载文件格式：仅支持 CSV 下载格式 样例下载文件格式：支持 CSV 和 Excel 两种文件格式，选择Excel下载格式，支持开启水印...
ListDbfs-查询数据库文件系统列表
调用ListDbfs查询您已经创建的数据库文件系统列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
配置脚本模式输入组件
配置文件 编辑脚本：单击 生成同步配置文件，页面右侧 配置文件 区域，展示输入组件模板。在 配置文件 区域，{"table":"tableName",/"tables":["tableName"]"column":[{"name":"","type":""}],"parameter":{} } 其中：table和tables：输入...
创建TDH Inceptor计算源
参数 描述 JDBC URL 配置Hive Server的连接地址，格式为 jdbc:hive2:/{连接地址}:{端口}/{数据库名称}。认证方式 选择Inceptor的认证文件。您需要根据引擎情况进行选择，支持选择 无认证、LDAP、Kerberos：无认证：即没有认证。LDAP：需要...
- 产品推荐
- 这些文档可能帮助您