问题描述 用户在MaxCompute数据库,创建了表,但是在Quick BI一直不能看见表。问题原因 由于MaxCompute类型的数据源采用异步加载和更新的策略,新建的表信息不会立马被Quick BI读取到。解决方案 1.如果表看不见,并且创建SQL数据集也不能...
选择您的数据来源为您刚添加的MySQL数据源,数据去向为默认MaxCompute数据源odps_first,单击 转换脚本 切换数据集成任务为脚本模式。此时,如果产生报错或您无法选择数据来源的 表,都属于正常现象,直接转换为脚本模式即可。单击页面右侧...
使用Lindorm外部表,可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理,也可以关联Lindorm表进行联邦计算,或将MaxCompute数据输出到Lindorm表中。本文为您介绍如何通过MaxCompute创建Lindorm外部表并映射Lindorm数据源。背景信息 ...
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能(BI)工具 商业智能(BI)工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化,以直观的...
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
2021-11-18 全部地域 网易有数BI连接MaxCompute 2021-10 功能名称 功能描述 发布时间 发布地域 相关文档 MaxCompute外表支持HBase增强版和云原生多模数据库Lindorm 云数据库HBase增强版,是由云原生多模数据库Lindorm的宽表引擎提供的、...
当前支持的湖仓一体构建方式如下:通过MaxCompute、数据湖构建DLF和对象存储OSS构建湖仓一体:数据湖的元数据(Schema)全部位于DLF中。MaxCompute可以利用DLF对OSS元数据的管理能力,提升对OSS半结构化格式(Delta Lake、Hudi、AVRO、CSV...
随着业务的发展,业务数据库(MaxCompute数据仓库的数据源)会出现数据库扩容或者DDL变更,这些变更都要主动通知到离线开发人员。基于MaxCompute的数据仓库在进行离线数据抽取时,通过DataWorks的数据集成工具,可能会限制某个业务数据库表...
为了更好地融入大数据生态,MaxCompute开放了存储组件(Storage API),通过调用Storage API直接访问MaxCompute底层存储,有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark ...
DataWorks为MaxCompute提供了可视化开发和节点流程管理等功能,结合MaxCompute完成一站式数据开发、数据治理等。详情请参见 什么是DataWorks。如何区分DataWorks工作空间和MaxCompute项目?您需要基于DataWorks工作空间来创建MaxCompute...
背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大时,可以将数据迁移至 MaxCompute。MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型,能够快速地解决海量数据存储和...
MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个:odps.sql.type.system.odps2:MaxCompute 2.0数据类型版本的开关,属性值为True或False。odps.sql.decimal.odps2:MaxCompute 2.0的Decimal数据类型的开关,属性值为...
为了帮助您更清晰地使用外部工具连接访问MaxCompute,本文将为您介绍MaxCompute支持连接的数据库管理工具,以及工具与MaxCompute在数据库连通性、列举数据库、查看表等方面的兼容性。数据库管理工具与MaxCompute的兼容性如下。工具 连接...
MaxCompute数据加密相关信息请参见 存储加密。权限策略 RAM支持两种类型的权限策略:由阿里云管理的系统策略和由客户管理的自定义策略。RAM系统策略。MaxCompute在RAM上提供了两种系统策略:AliyunMaxComputeFullAccess:此策略权限将包含...
数据库地址 连接MaxCompute项目的Endpoint,Quick BI可通过阿里云经典网络Endpoint连接MaxCompute服务。Endpoint详情请参见 Endpoint。项目名称 目标MaxCompute项目的名称。此处为MaxCompute项目名称,非工作空间名称。您可以登录 ...
ODPS-0123091:Illegal type cast 错误1:in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型...
2020年11月,Gartner全球数据库魔力象限,阿里云位于领导者象限,MaxCompute和E-MapReduce提供了安全、稳定、高性能的计算平台。2020年11月,IDC Marketscape中国大数据管理平台,MaxCompute位居领导者象限。2018年11月,MaxCompute,...
为了帮助您更清晰地使用BI工具连接访问MaxCompute,本文为您介绍MaxCompute支持连接的BI分析工具,以及工具与MaxCompute在数据库连通性、列举数据库等方面的兼容性。兼容性说明 商业智能(BI)分析工具与MaxCompute的兼容性说明如下。工具 ...
MaxCompute任务节点包括:ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下:您可以通过数据分析的 SQL查询 功能查询数据,并...
数据集成 MaxCompute可以通过数据集成功能加载不同数据源(例如MySQL数据库)的数据,也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上,您可以直接在DataWorks上配置MaxCompute数据源并读写...
更多动态脱敏信息,请参见 MaxCompute数据动态脱敏。自定义的动态脱敏规则 odps.isolation.session.enable 设置是否在单Session级别开启动态脱敏。更多动态脱敏信息,请参见 MaxCompute数据动态脱敏。True:打开 False:关闭 odps.sql....
2、分析型数据库目前仅允许操作者导入自身为 Project Owner 的 MaxCompute Project 中,或者操作者是 MaxCompute 表的 Table Creator 的数据。3、如果用户的 MaxCompute 开启了保护模式的功能(set projectProtection=true),数据无法以任何...
删除MaxCompute项目 2021-07-21 新增数据库管理工具连接MaxCompute操作指导。新说明 MaxCompute支持连接数据库管理工具管理MaxCompute项目。DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute 2021-07-19 新增...
示例说明:本文以创建一个MaxCompute数据表,利用MaxFrame进行开发处理,并将结果存储到另一个MaxCompute表中为例,为您介绍主要操作流程。通过本地客户端访问 MaxFrame 在系统的命令行执行窗口(例如Windows的CMD窗口)中,通过pip命令...
更多MaxCompute数据类型版本信息,请参见 数据类型版本说明。MaxCompute Type Java Type Java Writable Type TINYINT java.lang.Byte ByteWritable SMALLINT java.lang.Short ShortWritable INT java.lang.Integer IntWritable BIGINT java...
详情请参见 MaxCompute数据动态脱敏。自定义的动态脱敏规则。odps.sql.metering.value.max 设置单SQL消费限制值。详情请参见 消费监控告警消费控制。无。odps.sql.acid.table.enable 设置是否开启ACID机制。更多ACID信息,请参见 ACID语义...
odps 文件夹中维护了一个.meta 文件,用于保证MaxCompute数据的一致性。odps 的内容只有MaxCompute能正确处理,在其他数据处理引擎中可能无法正确解析,会导致报错。取值为True:MaxCompute使用分片上传功能,以 two-phase commit 的方式...
说明 RAM用户默认没有生产表查询权限,生产表查询权限请前往安全中心申请,DataWorks上MaxCompute数据权限预设以及访问控制,详情请参见 MaxCompute数据权限控制详情。MaxCompute命令授权详情请参见 通过命令管理用户权限。SQL函数 ...
MaxCompute数据迁移至OTS 2020-07-29 新增迁移MaxCompute数据至OSS最佳实践。新实践 为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS。MaxCompute数据迁移至OSS 2020-07-24 新增数据加密功能。新功能 ...
关于MaxCompute数据动态脱敏的更多信息,请参加 数据动态脱敏。自定义的动态脱敏规则。SELECT SQL Project odps.sql.acid.table.enable 设置是否开启ACID机制。关于ACID的更多信息,请参见 ACID语义。True:打开。False:关闭。ALL SQL ...
MaxCompute底层脱敏不支持对MaxCompute数据表的主键字段进行脱敏。MaxCompute底层脱敏仅支持对String类型字段进行脱敏。只有MaxCompute项目中已经存在数据并且数据已创建24小时(h)的情况下,才能使用此功能。准备工作 准备待脱敏的...
DataWorks 使用DataWorks连接 MaxCompute Studio MaxCompute Studio 数据库管理 DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute ETL工具 使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用...
在了解保障基于MaxCompute的数据仓库数据质量的方案后,您还需要进一步学习如何制定一套标准度量方案,以及判断质量监控方案是否合适业务需求以及如何改进。例如,针对每一个数据质量事件,必须分析原因和处理过程,制定后续同类事件预防...
MMA(MaxCompute Migration Assist)是一款MaxCompute数据迁移工具。本文为您介绍MMA的使用概述,帮助您快速了解并使用MMA。功能简介 Hive数据迁移到MaxCompute。MaxCompute跨项目数据迁移。EMR+DLF+OSS迁移MaxCompute项目。数据迁移原理 ...
在SQL中使用UDF函数分析IP来源 右键单击 业务流程,选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称,并单击 确认。在ODPS SQL节点编辑页面,输入如下语句。select*from ipresource WHERE ipint('192.0.2.0')>=...
更多MaxCompute数据类型版本信息,请参见 数据类型版本说明。为确保编写Java UDAF过程中使用的数据类型与MaxCompute支持的数据类型保持一致,您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute Type Java Type Java ...
更多MaxCompute数据类型版本信息,请参见 数据类型版本说明。为确保编写Java UDTF过程中使用的数据类型与MaxCompute支持的数据类型保持一致,您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute Type Java Type Java ...
PyODPS集成了SQLAlchemy,可以使用SQLAlchemy查询MaxCompute数据。本文为您介绍如何创建连接,并调用SQLAlchemy接口。创建连接 创建连接语法格式如下。import os from sqlalchemy import create_engine#确保 ALIBABA_CLOUD_ACCESS_KEY_ID ...
关于MaxCompute数据动态脱敏的更多信息,请参加 数据动态脱敏。自定义的动态脱敏规则。SELECT SQL Project odps.sql.acid.table.enable 设置是否开启ACID机制。关于ACID的更多信息,请参见 ACID语义。True:打开。False:关闭。ALL SQL ...