Spark Load
全局字典 适用场景 目前Doris中Bitmap列是使用类库Roaringbitmap实现的，而Roaringbitmap的输入数据类型只能是整型，因此如果要在导入流程中实现对于Bitmap列的预计算，则需要将输入数据的类型转换成整型。在Doris现有的导入流程中，全局...
Sqoop概述
背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将MySQL数据导入OSS 将OSS数据导入MySQL 使用SQL作为导入条件 将MySQL数据导入HDFS 在Master节点上执行如下命令。...
创建MaxCompute数据源
包括 2.0数据类型（推荐）、1.0数据类型（面向已有使用1.0数据类型用户）和 Hive兼容类型（面向Hive迁移用户），详情请参见：数据类型版本说明。是否加密 根据实际情况选择当前MaxCompute项目是否需要通过密钥管理服务KMS（Key Management ...
基础数据类型
本文介绍 云原生数据仓库AnalyticDB MySQL版 支持哪些数据类型以及与MySQL数据类型的差异对比。AnalyticDB MySQL支持的基础数据类型 类型 数据类型 说明 与MySQL数据类型差异 数值类型 boolean 布尔类型 值只能是 0 或 1，存储字节数1比特...
通过外表导入至数仓版
Hive的其他基本数据类型（如 BOOLEAN）与 AnalyticDB MySQL版 的数据类型一一对应，但 BINARY、CHAR(n)和 VARCHAR(n)类型均对应 AnalyticDB MySQL版 中的 VARCHAR 类型。创建OSS Parquet格式或OSS ORC格式外表 以Parquet格式为例，创建OSS...
支持的数据源
类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka至湖仓版（推荐）日志类数据 日志服务（SLS）数据同步 通过数据同步功能同步SLS至湖仓版（推荐）大数据 Hive 数据迁移 Hive数据导入 相关文档 AnalyticDB...
ip4r
本文介绍了 ip4r 插件的背景信息、数据类型以及使用方法等内容。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.9.13.0及以上）PostgreSQL 11（内核小版本1.1.36及以上）说明 您可通过如下语句查看 ...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
数据同步操作指导
结构初始化涉及的数据类型映射关系 由于不同的数据库支持的数据类型不一样，数据类型无法完全对应。DTS在执行结构初始化时，会根据目标库支持的数据类型进行类型映射，您可以查阅并评估类型映射对业务的影响。功能特性 详情请参见 数据同步...
配置数据脱敏
用户输入 新增敏感数据类型，系统会判断文字与已有敏感数据类型名称是否相同（包括：内置和该租户下所有用户配置的敏感数据类型），如果名称相同则提示 敏感字段类型重复。说明 内置敏感数据类型：手机号、身份证号、银行卡号、邮箱_内置、...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
通过命令行方式访问Presto
例如，如果要查看Hive数据源中默认数据库中的 test 表的数据，您可以使用 select*from hive.default.test;命令。可选：执行 quit;可以退出Presto命令行。高安全集群 说明 如果创建集群时打开了 Kerberos身份认证 开关，则创建的集群即为高...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。hive-e"drop database tpcds_bin_partitioned_orc_$SF cascade"配置Hive服务地址。tpcds-setup...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
转换函数
TO_TMINTERVAL 描述 该函数将 CHAR、VARCHAR2、NCHAR 或 NVARCHAR2 数据类型的字符串转换为 INTERVAL YEAR TO MONTH 值。语法 TO_YMINTERVAL(char)参数 参数 说明 char CHAR、VARCHAR2、NCHAR 或 NVARCHAR2 类型，为要转换的字符串。返回...
异构数据库间的数据类型映射关系
不同类型的数据库（异构数据库）支持的数据类型不一样，DTS在进行异构数据库之间的数据迁移时，会在结构迁移阶段进行数据类型映射，即将源库中的数据类型转为目标库支持的数据类型。本文为您列出详细数据类型映射关系，便于您查阅和评估...
EMR-3.35.x版本说明
本文介绍EMR-3.35.x版本的...修复读取Hive ORC表char类型数据正确性的问题。HDFS 支持国密SM4加密算法。Hue 升级Hue至4.9.0版本。Alluxio 升级Alluxio至2.5.0版本。Druid 升级Druid至0.20.1版本。增强了安全性。Livy 升级Livy至0.7.1版本。
计算引擎版本说明
1.3.0 新特性 新增数据类型转化函数，支持将HBase编码的BINARY类型的数据解析为真实数据类型（例如INT、LONG等）。详细介绍，请参见 访问增强版HBase数据。功能优化 宽表引擎（数据源）支持访问已完成HBase类型映射的表。详细介绍，请参见 ...
数据类型
本文介绍流引擎支持的数据类型。数据类型 对应的Java类型 描述 BOOLEAN java.lang.Boolean 长度为1字节。布尔型，取值为true或false。TINYINT java.lang.Byte 长度为1字节。定长精确数值类型。取值范围取决于长度，以及有无符号。SMALLINT ...
CREATE TYPE
这是因为表在数据库中也被看作是一种数据类型，所以数据类型的名称必须在其所属模式中保持唯一，以避免任何潜在的命名冲突。CREATE TYPE 命令有五种不同的变体。这五种变体分别用于创建如下类型：组合类型（composite type）、枚举类型...
CREATE TYPE
这是因为表在数据库中也被看作是一种数据类型，所以数据类型的名称必须在其所属模式中保持唯一，以避免任何潜在的命名冲突。CREATE TYPE 命令有五种不同的变体。这五种变体分别用于创建如下类型：组合类型（composite type）、枚举类型...
ALL_TYPE_ATTRS
所谓对象类型，是指用户自定义的数据类型，这些类型可以像内置的数据类型一样用来定义表的列或者函数和过程的参数和返回值。对象类型可以包含属性（相当于字段）和方法（相当于函数或过程）。all_type_attrs 视图中的每一行都代表了某个...
添加数据
背景信息 空间数据支持添加的 数据类型与格式有：数据类型 数据格式 矢量 Shapefile GeoJSON CSV GDB PostGIS 栅格 GeoTIFF Images NetCDF 倾斜摄影 OSGB S3M 3DTiles BIM RVT DGN IFC 点云 LAS PCD 三维模型 OBJ 3DS glTF FBX 栅格瓦片 ...
结构初始化涉及的数据类型映射关系
不同类型的数据库（异构数据库）支持的数据类型不一样，DTS在进行异构数据库之间的数据同步时，会在结构初始化阶段进行数据类型映射，即将源库中的数据类型转为目标库支持的数据类型。本文为您列出详细数据类型映射关系，便于您查阅和评估...
数据类型转换
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，数据类型转换的支持范围。支持的转换类型 数值类型 分类 MySQL 数据库 OceanBase 数据库 MySQL 租户 整型 支持指定字段长度，SIGNED、UNSIGNED、ZEROFILL。INT INT ...
功能支持
支持的数据类型和相关算子 全密态数据库定义并新增了以下数据类型，这些数据类型及其相应算子的范围内，支持SQL查询与事务，兼容标准SQL语法。数据类型 说明 支持密文计算 enc_int4 加密后的整型数，对应的明文数据为4字节整型数。...
使用基于OSS创建的Hive外部表进行离线集成
配置说明 使用该功能需要您先在Hive数据源或者Hadoop计算源的 core-site.xml 配置文件中配置相关参数并上传。如果Dataphin和OSS在同一个地域region下，core-site.xml 需要配置 fs.oss.endpoint 参数。如果Dataphin和OSS为跨地域region，除...
使用基于OSS创建的Hive外部表进行离线集成
配置说明 使用该功能需要您先在Hive数据源或者Hadoop计算源的 core-site.xml 配置文件中配置相关参数并上传。如果Dataphin和OSS在同一个地域region下，core-site.xml 需要配置 fs.oss.endpoint 参数。如果Dataphin和OSS为跨地域region，除...
功能支持
支持的数据类型和相关算子 全密态数据库定义并新增了以下数据类型，这些数据类型及其相应算子的范围内，支持SQL查询与事务，兼容标准SQL语法。数据类型 说明 支持密文计算 enc_int4 加密后的整型数，对应的明文数据为4字节整型数。...
功能支持
支持的数据类型和相关算子 全密态数据库定义并新增了以下数据类型，这些数据类型及其相应算子的范围内，支持SQL查询与事务，兼容标准SQL语法。数据类型 说明 支持密文计算 enc_int4 加密后的整型数，对应的明文数据为4字节整型数。...
公共规范
MySQL数据类型 MaxCompute数据类型 TINYINT TINYINT SMALLINT/MEDIUMINT SMALLINT INTEGER INT BIGINT BIGINT FLOAT FLOAT DOUBLE DOUBLE DECIMAL DECIMAL CHAR/VARCHAR VARCHAR LONGTEXT/TEXT STRING DATE/TIMESTAMP/TIME/YEAR STRING ...
EMR Spark功能增强
修复读取Hive ORC表char类型数据正确性的问题。EMR-4.8.0 Spark 2.4.7 优化了部分默认配置。性能优化：支持Window TopK下推。增强Hive读写CSV或JSON表的兼容性。ANALYZE语句支持省略全表列名。支持一键开启或关闭LDAP功能。开启或关闭LDAP...
JDBC开发实践
以Hive数据为例，开通Lindorm Hive服务后您可以通过以下方式建表和读写数据。开通方法请参见 开通Hive服务。CREATE TABLE test(id INT,name STRING);INSERT INTO test VALUES(0,'Jay'),(1,'Edison');SELECT id,name FROM test;使用Java访问...
对接使用CDH与CDP
数据地图配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据地图服务采集CDH集群中Hive数据库、表、字段、分区元数据，便于实现全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。说明 当前仅支持Hive数据库。...
typeconv-overview
也就是说，每个数据项都有一个相关的数据类型，数据类型决定其行为和允许的用法。本数据库有一个可扩展的类型系统，该系统比其它 SQL 实现更具通用和灵活。因而，本数据库中大多数类型转换行为是由通用规则来管理的，而不是ad hoc启发式...
管理敏感数据
涉敏字段-数据类型分布：可查看数据库中敏感字段的数据类型分布。数据类型即根据数据语义对数据进行的分类。默认包含如下分类：一级分类：个人信息、企业信息、位置信息等。二级分类：手机号、邮箱、银行卡等。说明 用户可自定义新的数据...
EMR-4.9.x版本说明
修复读取Hive ORC表char类型数据正确性的问题。HDFS 支持国密SM4加密算法。Hue 升级Hue至4.9.0版本。Alluxio 升级Alluxio至2.5.0版本。Livy 升级Livy至0.7.1版本。发行版本信 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark...
迁移服务（MMA）
MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情，请参见 Schema...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
JindoTable工具可以将Hive数据根据分区键规则筛选，在HDFS和OSS/OSS-HDFS之间转移分区。本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS。前提条件 已部署JindoSDK。EMR环境，默认已安装JindoSDK，可以直接使用。说明 ...
- 产品推荐
- 这些文档可能帮助您