通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
配置CDH6使用文件存储 HDFS 版
命令，进入存储Hive元数据的MySQL数据库。修改表DBS中的数据。执行 SELECT*FROM DBS LIMIT 5;命令，查询表DBS中的数据。返回结果示例如下：+-+-+-+-+-+-+-+|DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER_TYPE|CREATE_TIME|+-+-+-+-+-...
外表统计信息
本文介绍 云数据库 SelectDB 版 中外表统计信息收集功能，包括 使用方法和实现原理，为您进行查询性能优化提供参考。外表统计信息的收集方式、内容基本与内表统计信息一致，更多信息请参见 统计信息。注意事项 目前支持收集Hive、Iceberg和...
配置自建RDS
DataLake和Custom集群在创建过程中会自动根据所提供的数据库连接参数初始化Hive Meta数据库，因此无需执行该步骤。步骤一：元数据库准备 创建数据库。具体操作，请参见 创建数据库 中的创建数据库。创建普通用户并授权读写权限。具体操作，...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
数据处理
说明 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件和压缩包文件）、从数据库SQL表导入。数据解析。数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、...
通过DMS将逻辑备份导入RDS数据库
通过数据管理DMS（Data Management）可以将数据库备份数据导入RDS目标数据库，实现备份恢复或者数据迁移。操作步骤 本文以RDS MySQL为例。步骤一：下载备份数据 下载RDS MySQL备份数据，详情请参见 下载备份。说明 DMS的数据导入功能支持...
创建表并导入数据
完成集群、租户和数据库的创建后，我们将带领您登录数据库，并创建一个名为 order 的表，并使用 Hash 分区将表分为 16 个分区。背景信息 表信息大概如下：概念介绍 OceanBase 数据库可以把普通的表的数据按照一定的规则划分到不同的区块内...
数据导入
本文介绍导入数据量大或数据属性复杂时，可以使用的解决方法，帮助您更快地导入数据。导入方法 图数据库GDB支持如下三种导入方法，具体请参见 数据导入简介。从阿里云云存储对象（OSS）导入数据。使用DataWorks数据集成同步数据到GDB。使用...
数据导入性能优化
通过JDBC使用程序导入数据调优 客户端优化 应用端攒批，多条批量导入 在通过JDBC使用程序导入数据过程中，为减少网络和链路上的开销，建议攒批导入。无特殊要求，请避免单条导入。批量导入条数建议为2048条。如果单条数据量过大达到数百KB...
数据导入性能优化
通过JDBC使用程序导入数据调优 客户端优化 应用端攒批，多条批量导入 在通过JDBC使用程序导入数据过程中，为减少网络和链路上的开销，建议攒批导入。无特殊要求，请避免单条导入。批量导入条数建议为2048条。如果单条数据量过大达到数百KB...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
从OSS导入数据
gdbOssDemo/edge 路径存放了边文件，假如Bucket名称为 gdbbucket，则点文件和边文件的OSS路径分别为：点文件 oss:/gdbbucket/gdbOssDemo/node/边文件 oss:/gdbbucket/gdbOssDemo/edge/导入数据到图数据库GDB 以下内容仅为导入数据到图数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
PolarDB MySQL版DDL操作指南
本文基于云原生数据库 PolarDB MySQL版，对常见DDL的操作进行了说明，方便用户查询和了解DDL的行为，评估DDL操作风险，降低对业务的影响。DDL操作说明 在MySQL生态中，DDL是一类非常复杂的操作，包括Index操作、Primary Key操作、Column...
SearchAcrossCatalog-跨Catalog搜索元数据
db 结果 Databases object[]返回的 DatabaseList Database Database 返回的 Database HighLightList array 返回高亮文本 HighLight 返回高亮文本 TotalCount long 满足匹配条件的总的 Database 个数 11000 TableResult object 返回的 table...
应用场景
同时，OceanBase 数据库的分区表方案也可以使得用户完全无需关注数据的分布细节，轻松支持跨分区的分布式事务、多分区的关联，真正实现“透明”访问分布式数据库。会员系统的多维度查询 会员系统在很多企业中也都是存在的，系统中保存了很...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
通过数据湖元数据DLF读写Hudi
'hive_sync.db'='test',-required,Hive新建的数据库名。'hive_sync.mode'='hms'-required,将hive sync mode设置为hms,默认jdbc。入湖 insert into dlf_catalog.test.hudi_tbl1 select uuid as id,age,ts from default_catalog.default_...
使用curl命令导入数据文件
本文介绍使用curl命令将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例，创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建，请确保图...
使用Hive在EMR集群中创建OSS表
使用Hive创建OSS库、表以及访问OSS数据 参照如下示例，使用Hive创建OSS数据库以及访问OSS。CREATE DATABASE test_db location"oss:/test_bucket/test_db;在OSS指定Bucket路径上创建名为test_db的数据库。test_bucket为示例路径，实际使用时...
使用clickhouse-client导入数据
当您需要将本地文件的数据导入到云数据库ClickHouse时，本文将指导您如何通过clickhouse-client工具进行数据导入，以帮助您快速的完成数据导入。注意事项 支持导入到 云数据库ClickHouse 的常见文件格式为TabSeparated、...
使用GdbLoader脚本导入数据文件
本文介绍使用GdbLoader脚本将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例，创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建，请...
API概览
本产品（数据湖构建/2020-...ListDatabases 获取元数据库列表 获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。...
新建离线物理表
目标分区 如果表为分区表，需输入导入数据的 目标分区 名称。单击 下一步。在 导入数据 步骤中，配置数据表字段的映射关系。映射关系：同行映射：即按相同行数一一对应进行绑定为映射关系。同名映射：即按相同名称一一对应进行绑定为映射...
管理分区
DDM目前支持对MySQL、Oracle、DB2和GaussDB等数据库进行表分区操作。在逆向数据库时，支持抽取MySQL和Oracle数据库的表分区信息至模型工具中。操作步骤 在模型设计区，右键单击 编辑表，进入 表编辑器。在 表编辑器 页面，您可以编辑 分区 ...
Search-搜索元数据
True DatabaseResult object 返回的 db 结果 Databases object[]返回的 DatabaseList Database Database 返回的 Database HighLightList array 返回高亮文本 HighLight 返回高亮文本 TotalCount long 满足匹配条件的总的 Database 个数 ...
Catalog概述
例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks集群都有且只有一个Internal Catalog名为 default_catalog。External Catalog：外部数据目录，用于管理外部数据源的访问信息...
通过Spark导入数据
云数据库 SelectDB 版 支持通过Spark SelectDB Connector，利用Spark的分布式计算能力导入大批量数据。本文介绍使用Spark SelectDB Connector同步数据至 云数据库 SelectDB 版 的基本原理和使用方式。功能介绍 Spark SelectDB Connector是...
Dataphin将csv文件同步到hive库，目标hive库字段值为...
产品名称 Dataphin 产品模块 数据集成 概述 通过该问题的分析处理过程，提供以下场景问题处理排查思路和注意点：管道任务数据集成到hive之后，hive库查询集成数据为空 问题描述 将本地csv文件数据集成到hive库中，任务运行成功，但是查询...
一键同步MaxCompute数据
Hologres中创建的外部表用于映射MaxCompute数据，需要与导入数据的MaxCompute表结构一一对应。目标库 Hologres的数据库名称。目标Schema 当前数据库的Schema名称。如果您没有新建Schema，则只能选择默认创建的 public。如果有新建的Schema...
ST_ImportOSGB
将基于对象存储的倾斜摄影项目（OSGB格式）导入到数据库中。语法 boolean ST_ImportOSGB(cstring table_name,cstring url,cstring options default '{}');参数 参数名称 描述 table_name osg表名及其瓦片表前缀。url 基于对象存储服务的...
INTERVAL RANGE分区
INTERVAL RANGE分区是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。INTERVAL RANGE分区需要包含Interval子句并为新分区指定范围大小。范围划分的高值由范围划分键值决定，当插入的数据值超过了...
一键同步MaxCompute数据
Hologres中创建的外部表用于映射MaxCompute数据，需要与导入数据的MaxCompute表结构一一对应。目标库 Hologres的数据库名称。目标Schema 当前数据库的Schema名称。如果您没有新建Schema，则只能选择默认创建的 public。如果有新建的Schema...
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
执行以下命令，设置当前的数据库，本示例中数据库为flink_dlf_hive。USE flink_dlf_hive;执行以下命令，查看当前数据库中的表。SHOW TABLES;返回信息如下。table name|+-+|emrusers|+-+1 row in set 执行以下命令，查看表信息。desc ...
管理Hive Catalog
本文将从以下方面为您介绍如何管理Hive Catalog：配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前，需要完成以下配置：使用...
Impala概述
注意事项 如果使用Impala组件，请勿直接通过系统文件删除hive表分区目录，请使用Impala或者Hive命令删除，否则会导致该表不可用。优点 为了避免延迟，Impala没有使用MapReduce，而是使用分布式查询引擎直接访问数据，该引擎与RDBMS中的查询...
导入/导出任务
数据库 提交导入或导出任务相关SQL的数据库用户名。任务状态 任务状态，取值说明：init：任务初始化。running：任务运行中。finish：任务执行成功。failed：任务执行失败。若任务执行失败，您可以在SQL诊断页面，通过任务ID查询该任务，并...
8.0.2版本发布说明
支持Interval分区 Interval分区是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。更多信息请参见 INTERVAL RANGE简介。子查询解关联 关联子查询在分析场景中被广泛使用，例如在决策支持基准TPC-H...
- 产品推荐
- 这些文档可能帮助您