EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
概述
ZooKeeper是一个分布式、高可用性的协调服务。...基本原理 一个ZooKeeper集群需要由奇数个（2N+1）...ZooKeeper作为一个协调服务，znode主要用来存储协调性数据，例如，服务状态信息和配置信息等，不应把ZooKeeper作为文件系统来存储大量数据。
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
什么是Databricks数据洞察
Databricks数据洞察包含以下组件：Spark SQL和DataFrames Spark SQL是用来处理结构化数据的Spark模块。DataFrames是被列化了的分布式数据集合，概念上与关系型数据库的表近似，也可以看做是R或Python中的data frame。Spark Streaming 实时...
访问JDBC外表
云原生多模数据库Lindorm计算引擎支持访问外部JDBC数据源，您可以通过Spark SQL完成Lindorm与外部数据源之间的数据流转以及联邦计算。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。确保外部数据源已开通访问权限...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
资产全景及目录概述
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
资产全景及目录概述
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
空间数据类型
空间数据类型是一种用来表示空间对象、地理位置和物体形状的数据类型，多用于航空、导航、城市规划等领域。本文介绍Lindorm宽表引擎支持的空间数据类型。适用引擎 空间数据类型仅适用于宽表引擎。空间数据类型 Lindorm Ganos的SQL接口支持...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
应用场景
您可以将模式固定的结构化数据存储在 RDS（Relational Database Service）中，模式灵活的业务存储在MongoDB中，高热数据存储在 云数据库Redis 或 云数据库Memcache 中，实现对业务数据高效存取，降低存储数据的投入成本。移动应用 云数据库...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
应用案例
OSS与Lindorm数据源 DLA Ganos可以用来构建ETL工具，实现数据在不同数据库之间的流转。如用户可以将数据上传到OSS，然后进行重投影、拼接、创建金字塔并写入Lindorm（HBase）等。相关代码链接请参见 Code。机器学习 本节我们展示如何基于...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
创建数据库
描述 CREATE DATABASE命令可以用来创建一个新的数据库。说明 仅限超级用户、polar_superuser权限用户或者拥有createdb权限的用户才能创建数据库。带有createdb权限的非超级用户只能创建属于自己的数据库。CREATE DATABASE命令不能在一个...
使用须知
了解开源Spark SQL 通过开源Spark SQL访问数据库的数据分为以下三个级别：Catalog：用来标识用户不同的数据源。Namespace：与数据库中的Database或者Schema相对应。Table：与数据库中的表相对应。了解Lindorm计算引擎SQL 根据您已开通的...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
创建标签项目
贴源层：通常用来储存从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、多样化的数据指标。通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...
创建通用项目
数据权限审批 数据权限审批策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担。更多信息，请参见 数据权限配置。资产安全策略 安装后可使用数据安全策略，...
创建通用项目
数据权限审批 数据权限审批策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担。更多信息，请参见 数据权限配置。资产安全策略 安装后可使用数据安全策略，...
逻辑解码概念
逻辑解码 逻辑解码是一种将对数据库表的所有持久更改抽取到一种清晰、易于理解的格式的处理，这种技术允许在不了解数据库内部状态的详细知识的前提下解释该格式。在本数据库中，逻辑解码通过解码预写式日志的内容来实现，预写式日志描述了...
V$SESSION
V$SESSION 视图提供了当前数据库中所有会话的信息。简介 V$SESSION 是 PolarDB PostgreSQL版（兼容Oracle）中的一个动态性能视图，它提供了当前数据库中所有会话的信息。数据库会话是一个用户与数据库建立的连接上下文，每次用户登录到数据...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
识别任务说明
识别任务用来扫描资产中的敏感数据，对数据进行分类分级。数据安全中心提供两种识别任务模式：系统默认任务和自定义识别任务。完成资产授权后，数据安全中心会为每一个数据库或Bucket自动创建敏感数据识别任务，即系统默认任务；您可以根据...
添加区块链服务数据源
refreshToken 访问当前区块链服务数据源的Access Token信息，用来做请求发起者的身份认证。进入 区块链服务控制台，单击您的 组织REST-API，单击侧边栏的 生成Token，在下方展示生成的Token信息中获取。network 区块链服务数据源的通道名称...
规则概述
过滤规则的功能是根据某些特定的条件过滤一些信任的操作，系统对这些操作不审计，从而节省设备的磁盘空间，将有限的资源用来存储更有价值的审计数据。信任规则 需要审计某类数据库操作，但无需上报告警。您可以为此类数据库操作定义信任...
添加区块链服务数据源
refreshToken 访问当前区块链服务数据源的Access Token信息，用来做请求发起者的身份认证。进入 区块链服务控制台，单击您的 组织>REST-API，单击侧边栏的 生成Token，在下方展示生成的Token信息中获取。network 区块链服务数据源的通道...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
RDS术语
J JDBC Java Database Connectivity，是Java语言中用来规范客户端程序如何访问数据库的应用程序接口。结构迁移 DTS将迁移对象的结构定义迁移到目标实例。经典网络 实例之间不通过网络进行隔离，只能依靠实例自身的白名单策略来阻挡非法访问...
RDS术语
J JDBC Java Database Connectivity，是Java语言中用来规范客户端程序如何访问数据库的应用程序接口。结构迁移 DTS将迁移对象的结构定义迁移到目标实例。经典网络 实例之间不通过网络进行隔离，只能依靠实例自身的白名单策略来阻挡非法访问...
RDS术语
J JDBC Java Database Connectivity，是Java语言中用来规范客户端程序如何访问数据库的应用程序接口。结构迁移 DTS将迁移对象的结构定义迁移到目标实例。经典网络 实例之间不通过网络进行隔离，只能依靠实例自身的白名单策略来阻挡非法访问...
RDS术语
J JDBC Java Database Connectivity，是Java语言中用来规范客户端程序如何访问数据库的应用程序接口。结构迁移 DTS将迁移对象的结构定义迁移到目标实例。经典网络 实例之间不通过网络进行隔离，只能依靠实例自身的白名单策略来阻挡非法访问...
自动故障转移和读写分离
JDBC（Java Database Connectivity）是Java语言中用来规范客户端程序如何访问数据库的应用程序接口，在PostgreSQL中JDBC支持故障转移和负载平衡（Load Balance）。libpq实现自动故障转移和读写分离 通过libpq函数连接多个数据库，当出现...
数据类型
Lindorm CQL是一种类型化语言，支持丰富的数据类型。本文档主要介绍了Lindorm CQL支持的数据类型。基础数据类型 数据类型 支持的常量 描述 bigint integer 64位有符号长整数。blob blob 大小小于2M的任意字节。受宽表引擎的配额限制，具体...
基本概念
栅格数据（Raster Data）是将地理空间分割成有规律的网格，每一个网格称为一个单元（像元或像素），并在各单元上赋予相应的属性值来表示实体的一种数据形式。栅格数据通常有两种类型的栅格数据：专题数据和影像数据。专题数据：每个栅格像...
- 产品推荐
- 这些文档可能帮助您