基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

Delta Lake和Hudi是数据湖方案中常用的存储机制,为数据湖提供处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据,即时洞察业务数据...

数据传输与迁移概述

MaxCompute提供多种渠道,以便您从业务系统或外部数据源写入数据到MaxCompute,或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表(湖仓一体)JDBC渠道 场景数据写入MaxCompute 离线数据批量写入(数据...

通过Lindorm Shell访问宽表引擎

Lindorm Shell基于HBase Java API连接Lindorm宽表引擎,进行创建表、插入、查询等数据操作。本文介绍如何下载Lindorm Shell并连接Lindorm宽表引擎。前提条件 已安装Java环境,要求安装JDK 1.8及以上版本。已将客户端IP地址添加至 云原生多...

Proxool 连接池连接 OceanBase 数据库示例程序

本文将介绍如何使用 Proxool 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序,实现基本的数据操作,包括创建表、插入、删除、更新和查询数据等。点击下载 proxool-mysql-client 示例工程 前提条件 您已安装 OceanBase ...

查看连接地址

专有网络 公网 JAR作业开发实践 Hive Metastore地址 通过SQL访问Hive数据(连接地址为图示中③)Lindorm 专有网络 访问Hive数据 查看引擎连接地址 查看引擎的连接地址前,请确保已开通Lindorm引擎。如果您需要使用公网地址连接引擎...

产品架构

高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求,整体架构如下:TSCore 是时序引擎中负责数据组织的核心部分,其整体思想与LSM结构相似,数据先写入Memchunk,然后Flush到磁盘,但由于时序数据天然的顺序写入特征,定向...

配置引擎的宽表连接器

在使用引擎处理计算任务时,Lindorm支持将宽表作为维表或结果表使用。本文介绍使用Flink SQL提交计算任务时的宽表连接器配置。背景信息 在引擎中通过Flink SQL提交计算任务时,需要使用 CREATE TABLE 语句并配置连接器(Connector)...

配置引擎的时空宽表连接器

在使用引擎处理计算任务时,Lindorm支持将宽表作为维表或结果表使用,您可以通过宽表连接器关联在宽表引擎中创建的结果表,并设置相关参数开启时空内存索引。本文介绍通过连接器配置构建时空内存索引的方法。背景信息 在引擎中通过...

Druid 连接池连接 OceanBase 数据库示例程序

本文将介绍如何使用 Druid 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序,实现基本的数据操作,包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 druid-mysql-client 示例工程 前提条件 您已...

服务接入步骤导览

推送数据成功后可以获取推荐结果、或者在控制台上进行体验测试,详情请观看以下视频 推送数据Java代码示例,参考如下:获取推荐结果 获取推荐结果返回空结果的常见原因、及注意事项参考:调用测试 切验证、效果对比 在这一块需要注意...

轨迹生成

Lindorm引擎读取车辆的实时位置点数据,定期(每小时、每天)将位置点拼接为轨迹,再将聚合后的轨迹线数据写入至数据库,不仅保证了对车辆行驶轨迹数据的实时处理和分析能力,同时也减轻了数据库在处理高频率追加写入操作时的IO压力。...

开发后端逻辑流操作代码

自定义后端逻辑流操作基于Java编写,对于熟悉Java的开发者来说,可以运用Java的强大能力来扩展后端逻辑。前提条件 已安装JDK11+和Maven3.5+。步骤一、下载代码模版 登录 魔笔。在顶部菜单栏选择 应用管理,在左上角搜索框中搜索目标应用...

数据

数据基于任意任务的发布态版本,可通过指定业务时间或业务范围时间,生成一个或多个任务实例(运行某条任务的记录)。本文为您介绍如何给任务数据。使用场景 电商公司在多个时间段进行促销活动,需要分析促销活动带来的营收、...

区域统计

Lindorm Ganos时空服务提供了丰富的函数和数据类型,方便您对时空数据进行计算和分析。您可以通过Ganos时空服务预先设定地理围栏,并根据业务需求灵活使用时空函数,结合Lindorm引擎的实时计算能力,实现基于地理围栏的实时区域统计功能...

Commons Pool 连接 OceanBase 数据库示例程序

本文将介绍如何使用 Commons Pool、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序,实现基本的数据操作,包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 commonpool-mysql-client 示例工程 前提条件...

离线同步常见问题

读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围,但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...

心选市场售卖

操作步骤 进入 阿里云云市场流数据服务Confluent商品售卖页,点击“立即购买”按钮跳转至流数据服务Confluent集群创建管控页。进入 流数据服务Confluent集群创建管控页 完成集群配置,并点击“创建集群”按钮完成商品购买。说明 创建和配置...

2023年

TimeTravel 2023-06-26 新增SQL处理优化 新说明 为了方便用户操作Transactional Table 2.0,MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持,并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门...

迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...

本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态(项目状态为 失败、已暂停 或 已完成),受增量日志保留时长等影响,项目可能无法恢复。数据传输将主动...

文档修订记录

QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块,提供了便捷的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作,致力于为您...

查看连接地址

前提条件 已开通 云原生多模数据库 Lindorm 的引擎,具体操作请参见 开通引擎。专有网络和公网 网络类型 说明 专有网络 专有网络VPC(Virtual Private Cloud)是您自己独有的云上私有网络,不同的专有网络之间通过二层逻辑隔离,拥有较...

DataHub数据

DataHub数据源作为数据中枢,为您提供读取和写入DataHub数据库的双向通道,能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...

Java

本文介绍如何基于Java编程环境连接和操作数据库GDB。这是以常驻服务形式操作数据库GDB的常用形式。前提条件 图数据库GDB实例需要与ECS虚拟机处于同一个VPC中。安装Maven 添加具有Maven程序包的存储库。wget ...

2021年

新功能 MaxCompute提供湖仓一体方案,该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...

产品功能

通过重刷数据功能,可以重刷某些任务或工作数据(只支持天级别),每个实例都是不同的数据时间。报警监控 报警类型:失败报警、超时报警、无可用机器报警、成功通知。报警联系人组。报警历史。报警方式:短信、电话、邮件、webhook。

用户管理

作为集群安全的一部分,数据流服务Confluent提供了用户管理功能。您可以在用户管理页面完成新增用户、修改密码、删除用户等操作。本文介绍用户管理的具体操作步骤。查看用户列表 首先登录 流数据服务Confluent管控页,点击集群管理>进入...

产品功能

通过重刷数据功能,可以重刷某些任务或工作数据(只支持天级别),每个实例都是不同的数据时间。报警监控 报警类型:失败报警、超时报警、无可用机器报警、成功通知。报警联系人组。报警历史。报警方式:短信、电话、邮件、webhook。

连接方式概述

使用 Java 驱动连接 OceanBase 数据库的具体操作示例请参见 Java 驱动连接 OceanBase 数据库。C 驱动(OceanBase Connector/C)OceanBase Connector/C 是一个基于 C/C++ 的 OceanBase 客户端开发组件,支持 C API Lib 库。OceanBase ...

RDS术语

DTS Data Transmission Service,数据传输服务,是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。更多信息,请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...

同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...

目标端表对象存在记录时处理策略 选择 忽略:目标端表对象存在数据时,如果原数据与写入数据冲突,数据传输采用将冲突数据记录日志,保留原数据不变的策略进行数据写入。重要 选择 忽略,全量校验将使用 IN 模式拉取数据,无法校验目标端多...

RDS术语

DTS Data Transmission Service,数据传输服务,是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。更多信息,请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...

RDS术语

DTS Data Transmission Service,数据传输服务,是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。更多信息,请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...

使用Flink SQL消费实时变更数据示例

云原生多模数据库 Lindorm 支持实时数据订阅功能,对实时变更数据进行计算,可以为实时监控,实时报表和流数据分析功能提供有效数据。通过Flink Kafka Connector可以从底层存储消费订阅数据,同时Flink Kafka Connector对订阅数据进行解析...

RDS术语

DTS Data Transmission Service,数据传输服务,是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。更多信息,请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...

RDS术语

DTS Data Transmission Service,数据传输服务,是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。更多信息,请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...

迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...

本文为您介绍如何使用数据传输迁移 RDS PostgreSQL 实例 的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态(项目状态为 失败、已暂停 或 已完成),受增量日志保留时长等影响,项目可能无法恢复。数据传输...

查看任务详情

任务是由数据同步、数据开发、智能标签、质量评估等业务产生的任务集,运维监控支持查看任务及其详情,包括任务详情、实例列表、部署日志、下线日志、运行日志。本文介绍如何查看任务详情。背景信息 任务来源、任务类型及实例的...

Iceberg概述

而Iceberg简化了工作流程,整个数据处理过程是一条完整的、可靠的实时,其数据的清洗、转换和特征化等操作都是上的节点动作,无需处理历史数据和实时数据。此外,Iceberg还支持原生的Python SDK,对于机器学习算法的开发者非常友好。

查看任务详情

任务是由数据同步、数据开发、智能标签、质量评估等业务产生的任务集,运维监控支持查看任务及其详情,包括任务详情、实例列表、部署日志、下线日志、运行日志。本文介绍如何查看任务详情。背景信息 任务来源、任务类型及实例的...

DataWorks On EMR使用说明

DataWorks支持基于EMR(E-MapReduce)计算引擎创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务工作的配置、定时调度和元数据管理等功能,保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程,以及相关 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据传输服务 云数据库 Redis 版 数据库备份 DBS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用