DMS作业调度
本文介绍 AnalyticDB PostgreSQL版 如何通过DMS的作业调度功能，实现定时调度RDS PostgreSQL数据库的数据。功能介绍 本次作业调度使用OSS作为中间态的存储，调度任务会将数据从RDS PostgreSQL数据库加载到OSS上，再使用 AnalyticDB ...
GetMetaDBInfo
Type String hive 数据库类型 Comment String 备注 备注 CreateTime Long 1541576644000 创建引擎的时间。ProjectId Long 22 工作空间ID。ProjectName String test 工作空间的名称。AppGuid String odps.engine_name 引擎ID，格式为引擎...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
步骤四：通过Hive读取索引数据 通过HiveSQL，读取Elasticsearch实例中的索引数据。准备工作 创建阿里云Elasticsearch实例。本文使用6.7.0版本的实例，具体操作步骤请参见 创建阿里云Elasticsearch实例。关闭实例的自动创建索引功能，并提前...
使用程序导入数据
} }/*获取数据库连接*@param host 数据库地址*@param port 端口*@param database 数据库名称*@param username 用户名*@param password 密码*@return*@throws ClassNotFoundException*@throws SQLException*/private static Connection ...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
项目
项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等，您...
Dataphin资产中物理表的描述出现乱码
问题描述 本文主要描述了Dataphin...问题原因 Hive meta数据库编码问题。解决方案 在即席查询执行show create table 查看表名，确认结果的COMMENT是不是乱码，如果是乱码，需要确认下修改下Hive meta的数据库编码。适用于 Dataphin v.2.9.7
API概览
脚本 API 标题 API概述 ListScripts 查询脚本 监控诊断 API 标题 API概述 ListDoctorHiveDatabases 批量获取 Hive 库信息 批量获取 Hive 库维度分析结果。GetDoctorHiveDatabase 获取Hive库信息 获取 Hive 库维度分析结果。...
使用Presto访问
Presto支持在线数据查询，包括Hive、Cassandra、关系数据库以及专有数据存储。说明 本文中Presto是通过连接Hive的元数据服务来读取文件存储HDFS上的数据，在文件引擎上使用Presto时需要额外配置一些依赖包，详细操作步骤请参见 配置Presto...
GetDatabaseProfile-获取库数据概况
获取库数据概况的详细信息。接口说明 使用数据概况需要先将该库的 OSS Bucket 进行 Location 托管。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
配置自建RDS
获取数据库内网地址。设置白名单，详情请参见 设置IP白名单。在实例详细页面，单击左侧导航栏中的 数据库连接。在 数据库连接 页面，单击内网地址进行复制。请记录内网地址，步骤二：创建集群 时会用到。步骤二：创建集群 在创建集群的 ...
数据上云场景
MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详细信息请参见 MMA概述。数据库数据同步 数据库的数据同步到MaxCompute...
创建集群
内置MySQL（不推荐）：该方式的元数据存储在集群本地环境的MySQL数据库中。说明 测试场景：推荐使用 DLF统一元数据。生产场景：可以使用 DLF统一元数据 或 自建RDS。集群存储根路径 当您在可选服务区域选择了OSS-HDFS服务时，需要配置该...
整库迁移与批量上云
来源数据源 操作指导链接 MaxCompute MySQL PostgreSQL SQL Server Oracle PolarDB AnalyticDB for MySQL2.0 AnalyticDB for MySQL 3.0 AnalyticDB for PostgreSQL HybridDB for MySQL DRDS（PolarDB-X）DM Hive DB2 ApsaraDB for ...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
使用限制
不支持 Hive DB Lock manager API 不支持 Hive Db Transaction Manager API 不支持 Hive Constraint：如Primary key/Foreign key 不支持Hive SQL Standards Based Authorization 旧版Hive权限，开源社区已不再发展，建议使用数据湖构建数据...
创建Hudi数据源
本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并...同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。
EMR-3.25.x版本说明
更新内容 服务 变更点 Ranger 初始化HA集群RangerAdmin数据库。修复RangerUserSync启动脚本时的安全性问题。Spark 支持在控制台配置 spark.sql.extensions 等Delta相关参数。支持Hive读取Delta table，避免set inputformat。支持ALTER ...
创建Hudi数据源
同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。重要 创建Hudi数据源时不支持测试数据源是否可以和Dataphin进行正常的连通，因此需要您确保连接信息的正确性。您可根据 网络连通解决方案 自行排查...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
Hive调研工具准备
用户授权 Hive扫描工具（简称hive-scanner）需要一个您在Hive的metastore数据库账号来获取您的Hive对象资源列表，该账号需要拥有Hive metastoreDB的读权限，授权命令可参考如下示例。grant select on${dbname}.*to${username}@'%';flush ...
Security Zone功能
背景信息 例如，某公司有部门A和部门B两个部门，部门A主要使用Hive database a，以及HDFS路径/a，部门B主要使用Hive database b，以及HDFS路径/b。如果要使用Security Zone功能，可以将Hive database a和HDFS路径/a 划分到Zone a当中，将...
HDFS数据源
目前HDFS Writer支持大部分Hive类型，请注意检查您的数据类型。HDFS Writer针对Hive数据类型的转换列表，如下所示。说明 column的配置需要和Hive表对应的列类型保持一致。类型分类 数据库数据类型 整数类 TINYINT、SMALLINT、INT和BIGINT ...
获取集群的VPC网段IP
将数据从其他数据库导入 云数据库ClickHouse 时，需要将目标 云数据库ClickHouse 集群所在的VPC网段IP地址添加到源数据库的白名单中。本文介绍了如何获取 云数据库ClickHouse 集群所在的VPC网段IP地址。操作步骤 复制目标 云数据库...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
GetDatabase
获取给定数据库信息 请求参数 名称 类型 是否必选 示例值 描述 Name String 是 db001 需要获取的数据库名称 返回数据 名称 类型 示例值 描述 Code String NO_SUCH_OBJECT 如果请求出错，则返回错误代码 DatabaseModel object 返回的数据库...
DROP CONTINUOUS QUERY
语法 drop_cq_statement:=DROP CONTINUOUS QUERY[database_identifier.cq_identifier]使用说明 数据库名（database_identifier）连续查询对象所属数据库的名称，不指定时默认是当前数据库。使用时必须在数据库名前后添加反引号（`），例如 ...
2020-10-27版本
支持Hive Metastore：可读取Hive中维护的元数据信息，便于统一管理元数据。详情请参见 管理Hive Catalog。重要 仅支持Hive Metastore 2.3.6版本。Hive Metastore暂不支持Kerberos方式认证。支持快速配置监控告警：您可以直接在Flink全托管...
流式入库
其主要原因如下：Hive事务的实现修改了底层文件，导致公共的存储格式等仅能够被Hive读取，导致很多使用SparkSQL、Presto等进行数据分析的用户无法使用该功能。Hive事务目前仅支持ORC。Hive的模式为Merge-on-read，需要对小文件进行Sort-...
使用SQL管理外部项目
读取Hive表数据。select*from<my_hive_table>limit 10;说明 目前无法对关联的External Project执行DDL类的SQL语句（add partition和drop partition除外）。DDL SQL语句，详情请参见 SQL概述。您可以在odps_config.ini文件中增加set配置 set...
深度解析PolarDB数据库并行查询技术
显然并行IO是一个简单易行的方法，如果多个线程可以同时发起IO，每个线程只读取部分数据，这样就可以快速的将数据读到数据库的缓冲区中。并行读取数据的示意图如上所示，每个worker代表一个线程，如果数据已经有partition分区，可以每个...
独立RDS元数据库
创建用户并授权读写权限 获取数据库内网地址 在实例详细页面，单击左侧导航栏中的数据库连接。在数据库连接页面，单击内网地址进行复制。创建Databricks数据洞察集群 在创建集群的页面，配置以下参数，其他参数的配置请参见 创建集群。参数...
MongoDB实例空间使用率高问题
部分db未做分片 云数据库MongoDB分⽚集群实例允许部分db做分片，部分db不做分片。那么必然会带来这样的⼀个问题：不做分片的db的数据必然只能存在⼀个分⽚上，如果该db数据量很⼤，可能会造成该分⽚的数据量远⼤于其他分⽚。从⼀个源端...
CDH6与文件引擎集成
三、安装HIVE服务 安装MySQL数据库，并创建用来存储hive元数据信息的数据库。登入CDH6任意的一台机器，执行如下指令，进行安装。切换到 root sudo su-#下载 MySQL的rpm 源 root@cdhlindorm001~/tool$wget ...
Dataphin将csv文件同步到hive库，目标hive库字段值为...
产品名称 Dataphin 产品模块 数据集成 概述 通过该问题的分析处理过程，提供以下场景问题处理排查思路和注意点：管道任务数据集成到hive之后，hive库查询集成数据为空 问题描述 将本地csv文件数据集成到hive库中，任务运行成功，但是查询...
通过Mongo Shell连接MongoDB单节点实例
Mongo Shell是MongoDB自带的数据库管理工具，您可以将Mongo Shell工具下载并安装至客户端（本地服务器或ECS服务器），用于连接云数据库MongoDB单节点实例。本文介绍通过Mongo Shell连接云数据库MongoDB单节点实例的方法。前提条件 已创建云...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
MMA概述
MMA任务与子任务 MMA可以以单个数据库、多个表、多个分区为单位提交迁移任务。迁移任务以“分区”和“⾮分区表”为单位进⾏子任务分割，子任务是实际执⾏迁移操作的单位。⼀个子任务迁移⼀个⾮分区表或⼀个/多个分区。MMA迁移作业方案 本文...
集成PyEncMySQL
以下示例提供了一套集成到Django的解决方案：import pyencmysql pyencmysql.install_as_MySQLdb()DATABASES={ 'default':{ 'ENGINE':'django.db.backends.mysql',#数据库引擎 'NAME':'XXX',#数据库名 'USER':'XXX',#数据库用户名 'PASSWORD...
- 产品推荐
- 这些文档可能帮助您