本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务(MaxCompute,原名ODPS),可服务于批量结构化数据的...通过 数据集成 服务,可将RDS数据导入MaxCompute,实现大规模的数据计算,如下图所示。
MaxCompute 大数据计算服务MaxCompute(原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案,提供了完善的数据导入方案以及多种经典的分布式计算模型,能够快速地解决海量数据计算问题。通过数据集成服务,可将RDS数据导入...
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
数据集成 MaxCompute可以通过数据集成功能加载不同数据源(例如MySQL数据库)的数据,也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上,您可以直接在DataWorks上配置MaxCompute数据源并读写...
计算 MaxCompute向用户提供了多种经典的分布式计算模型,提供TB、PB、EB级数据计算能力,能够更快速的解决用户海量数据计算问题,有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
外部表无需导入数据即可查询,较节省内存。MaxCompute内部表与外部表介绍,请参见 表。表结构设计。主要配置项说明如下。配置 说明 字段类型 定义字段数据类型,仅支持下拉选择MaxCompute支持的数据类型。MaxCompute数据类型介绍,请参见 ...
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储(OSS、Hologres),以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行:MaxCompute客户端 使用SQL分析连接 使用云命令行...
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储(OSS、Hologres),以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行:MaxCompute客户端 使用SQL分析连接 使用云命令行...
完成上述授权的前期准备后,您需要根据导入数据的格式类型,选择对应的导入方式:通过内置Extractor(StorageHandler)导入数据 导入其他开源格式数据 通过内置Extractor(StorageHandler)导入数据 命令格式 {load overwrite|into} table...
完成上述授权的前期准备后,您需要根据导入数据的格式类型,选择对应的导入方式:通过内置Extractor(StorageHandler)导入数据 导入其他开源格式数据 通过内置Extractor(StorageHandler)导入数据 命令格式 {load overwrite|into} table...
在进行数据迁移或集成操作时,即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时,您需要参照数据类型映射表,设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...
Kafka数据写入MaxCompute流程:阿里云全托管Kafka MaxCompute与消息队列Kafka版服务紧密集成,借助消息队列Kafka版服务的MaxCompute Sink Connector,无需第三方工具及二次开发,即可满足将指定Topic数据持续导入MaxCompute数据表的需求,...
说明 数据导入MaxCompute不计费。套餐计费 MaxCompute包年包月套餐费用包含预留的计算资源和存储容量费用,每种套餐固定CU量和存储容量。与包年包月的标准预留计算资源一样,购买包年包月套餐后,系统会为购买的账号预留固定的计算资源。...
背景信息 完成OSS外部表创建后,您可以根据需要选择如下方式之一对OSS外部表进行操作:(推荐)方式一:将OSS的开源格式数据导入MaxCompute内部表,然后再读取OSS的数据。如果直接使用OSS外部表,每次读取数据都涉及OSS的I/O操作,且...
MaxCompute提供多种渠道,以便您从业务系统或外部数据源写入数据到MaxCompute,或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表(湖仓一体)JDBC渠道 场景数据写入MaxCompute 离线数据批量写入(数据...
该机制使得用户可以无需将数据导入到MaxCompute内部存储,直接对外部数据进行操作,从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据处理的主要入口,可实现EB级别离线数据的快速处理和存储。随着大数据业务的...
如果您需要对一份数据做多次计算,相比每次从Tablestore去远程读数据,更高效的方法是先一次性把需要的数据导入到MaxCompute内部成为一个MaxCompute(内部)表,示例如下。CREATE TABLE internal_orders AS SELECT odps_orderkey,odps_...
除了通过MaxCompute客户端导入数据,您也可以使用MaxCompute Studio、Tunnel SDK、数据集成、开源的Sqoop、Fluentd、Flume、Logstash等工具将数据导入到MaxCompute,更多信息请参见 数据上云工具。误删除表数据如何恢复?MaxCompute提供...
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI,对海量数据进行实时在线分析服务,同时支持拖拽式操作和丰富的可视化效果,帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
数据类型 MaxCompute数据开发支持三个数据类型版本:1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本 和 Hive兼容数据类型版本。您可以根据您MaxCompute作业的实际情况选用合适的数据类型版本,详情请参见 数据...
v5.1.9及以上版本 MaxCompute:JDBC驱动v3.2.8及以上版本 FineBI连接MaxCompute 阿里云MaxCompute数据连接(FineBI)FineReport FineReport:v10.0及以上版本 MaxCompute:JDBC驱动v3.2.8及以上版本 FineReport连接MaxCompute 阿里云...
导入数据 在 Project Explorer 区域,单击MaxCompute项目的 Tables&Views 节点前的下拉箭头,右键单击需要导入数据的表,选择 Import data into table。在 Importing data to table_name 对话框中,配置导入文件参数。Input File:导入数据...
为了更好地融入大数据生态,MaxCompute开放了存储组件(Storage API),通过调用Storage API直接访问MaxCompute底层存储,有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark ...
使用RDS数据源创建MaxCompute的外部表并加载数据 使用RDS数据源创建MaxCompute外部表的步骤如下:登录RDS数据库,执行建表语句并插入数据。操作详情请参见 通过DMS登录RDS数据库。建表示例如下:CREATE TABLE `rds_mc_external`(`id` int...
前提条件 请确认已在IntelliJ IDEA上完成如下准备工作:安装MaxCompute Studio 创建MaxCompute项目连接 创建MaxCompute Java Module 操作步骤 编写Java UDF。在 Project 区域,右键单击Module的源码目录(即 src>main>java),选择 new>...
Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台,MaxCompute支持您将MaxCompute项目数据接入Sugar BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目,并进行可视化数据分析。前提条件 ...
您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块可以对MaxCompute表进行新建、收藏、修改数据生命周期管理、修改表结构和数据表/资源/函数权限管理审批等操作。MaxCompute的表格有两种类型:内部表和外部表...
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute,本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒,实现Hive...
本文为您介绍如何将数据上传至MaxCompute或从MaxCompute下载数据,包括服务连接、SDK、工具和数据导入导出、上云等常见操作。背景信息 MaxCompute提供了多种数据上传下载的通道支持,方便您在各种场景下进行技术方案选型时参考。批量数据...
MaxCompute支持您将MaxCompute项目数据接入Yonghong BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何连接Yonghong BI和MaxCompute项目,并进行可视化数据分析。背景信息 Yonghong Desktop是一款桌面智能数据分析工具,基于...
本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...
当您需要访问存储在Hologres中的数据时,MaxCompute支持使用外部表访问Hologres数据源数据,无需导入数据至MaxCompute中,实现快速查询Hologres数据。本文为您介绍如何在外部表建表语句中指定Hologres数据源、STS认证信息或打开双签名开关...
MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接(Java Database Connectivity)接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。JDBC...
当MaxCompute项目中存有敏感信息如个人身份信息、财务记录、健康记录等,开启数据存储加密可保护这些数据不被未授权者访问。MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足...
MaxCompute支持您将MaxCompute项目数据接入网易有数BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接MaxCompute项目,并进行可视化数据分析。背景信息 网易有数BI是新一代敏捷数据可视化分析平台,是包含...
其中:数据接入 支持各数据源全量和近实时增量导入功能:MaxCompute联合相关产品定制开发多种数据接入工具,例如MaxCompute定制开发的 Flink Connector,DataWorks的数据集成等,用来支持高效的近实时增量数据导入。这些工具会对接...
本文为您介绍如何使用MaxCompute Java SDK生成Instance Logview链接。Instance Logview可以帮助您快速定位问题。背景信息 您可以通过Logview查看和Debug提交的MaxCompute作业,详情请参见 使用Logview查看作业运行信息。MaxCompute Java ...
本文为您介绍如何使用MaxCompute Java SDK输出错误日志。接口说明 MaxCompute Java SDK提供了抽象类RetryLogger,详情请参见 SDK Java Doc。public static abstract class RetryLogger {/*当RestClient发生重试前的回调函数*@param e*错误...
本文为您介绍如何通过日志服务的直接投递功能迁移日志数据至MaxCompute。前提条件 执行本操作的账号为主账号。已开通日志服务,详情请参见 开通日志服务。背景信息 日志服务提供将实时采集的日志数据投递至MaxCompute的功能。如果启用该...