Quick BI在ODPS数据库创建表Quick BI看不见表

问题描述 用户在MaxCompute数据库,创建了表,但是在Quick BI一直不能看见表。问题原因 由于MaxCompute类型的数据源采用异步加载和更新的策略,新建的表信息不会立马被Quick BI读取到。解决方案 1.如果表看不见,并且创建SQL数据集也不能...

迁移ECS自建MySQL数据库MaxCompute

选择您的数据来源为您刚添加的MySQL数据源,数据去向为默认MaxCompute数据odps_first,单击 转换脚本 切换数据集成任务为脚本模式。此时,如果产生报错或您无法选择数据来源的 表,都属于正常现象,直接转换为脚本模式即可。单击页面右侧...

Lindorm外部表(云原生多模数据库

使用Lindorm外部表,可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理,也可以关联Lindorm表进行联邦计算,或将MaxCompute数据输出到Lindorm表中。本文为您介绍如何通过MaxCompute创建Lindorm外部表并映射Lindorm数据源。背景信息 ...

生态对接

本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能(BI)工具 商业智能(BI)工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化,以直观的...

使用DataWorks(离线与实时)

最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...

2021年

2021-11-18 全部地域 网易有数BI连接MaxCompute 2021-10 功能名称 功能描述 发布时间 发布地域 相关文档 MaxCompute外表支持HBase增强版和云原生多模数据库Lindorm 云数据库HBase增强版,是由云原生多模数据库Lindorm的宽表引擎提供的、...

MaxCompute湖仓一体概述

当前支持的湖仓一体构建方式如下:通过MaxCompute数据湖构建DLF和对象存储OSS构建湖仓一体:数据湖的元数据(Schema)全部位于DLF中。MaxCompute可以利用DLF对OSS元数据的管理能力,提升对OSS半结构化格式(Delta Lake、Hudi、AVRO、CSV...

数据加工过程卡点校验

随着业务的发展,业务数据库MaxCompute数据仓库的数据源)会出现数据库扩容或者DDL变更,这些变更都要主动通知到离线开发人员。基于MaxCompute的数据仓库在进行离线数据抽取时,通过DataWorks的数据集成工具,可能会限制某个业务数据库表...

Spark Connector

为了更好地融入大数据生态,MaxCompute开放了存储组件(Storage API),通过调用Storage API直接访问MaxCompute底层存储,有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark ...

常见问题

DataWorks为MaxCompute提供了可视化开发和节点流程管理等功能,结合MaxCompute完成一站式数据开发、数据治理等。详情请参见 什么是DataWorks。如何区分DataWorks工作空间和MaxCompute项目?您需要基于DataWorks工作空间来创建MaxCompute...

数据迁移

背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大时,可以将数据迁移至 MaxComputeMaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型,能够快速地解决海量数据存储和...

数据类型版本说明

MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个:odps.sql.type.system.odps2:MaxCompute 2.0数据类型版本的开关,属性值为True或False。odps.sql.decimal.odps2:MaxCompute 2.0的Decimal数据类型的开关,属性值为...

兼容性概览

为了帮助您更清晰地使用外部工具连接访问MaxCompute,本文将为您介绍MaxCompute支持连接的数据库管理工具,以及工具与MaxCompute数据库连通性、列举数据库、查看表等方面的兼容性。数据库管理工具与MaxCompute的兼容性如下。工具 连接...

RAM权限

MaxCompute数据加密相关信息请参见 存储加密。权限策略 RAM支持两种类型的权限策略:由阿里云管理的系统策略和由客户管理的自定义策略。RAM系统策略。MaxCompute在RAM上提供了两种系统策略:AliyunMaxComputeFullAccess:此策略权限将包含...

Quick BI连接MaxCompute

数据库地址 连接MaxCompute项目的Endpoint,Quick BI可通过阿里云经典网络Endpoint连接MaxCompute服务。Endpoint详情请参见 Endpoint。项目名称 目标MaxCompute项目的名称。此处为MaxCompute项目名称,非工作空间名称。您可以登录 ...

ODPS-0123091

ODPS-0123091:Illegal type cast 错误1:in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型...

发展历程

2020年11月,Gartner全球数据库魔力象限,阿里云位于领导者象限,MaxCompute和E-MapReduce提供了安全、稳定、高性能的计算平台。2020年11月,IDC Marketscape中国大数据管理平台,MaxCompute位居领导者象限。2018年11月,MaxCompute,...

兼容性概述

为了帮助您更清晰地使用BI工具连接访问MaxCompute,本文为您介绍MaxCompute支持连接的BI分析工具,以及工具与MaxCompute数据库连通性、列举数据库等方面的兼容性。兼容性说明 商业智能(BI)分析工具与MaxCompute的兼容性说明如下。工具 ...

使用DataWorks连接

MaxCompute任务节点包括:ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下:您可以通过数据分析的 SQL查询 功能查询数据,并...

支持的云服务

数据集成 MaxCompute可以通过数据集成功能加载不同数据源(例如MySQL数据库)的数据,也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上,您可以直接在DataWorks上配置MaxCompute数据源并读写...

SET

更多动态脱敏信息,请参见 MaxCompute数据动态脱敏。自定义的动态脱敏规则 odps.isolation.session.enable 设置是否在单Session级别开启动态脱敏。更多动态脱敏信息,请参见 MaxCompute数据动态脱敏。True:打开 False:关闭 odps.sql....

MaxCompute导入数据报错get odps table error:can ...

2、分析型数据库目前仅允许操作者导入自身为 Project Owner 的 MaxCompute Project 中,或者操作者是 MaxCompute 表的 Table Creator 的数据。3、如果用户的 MaxCompute 开启了保护模式的功能(set projectProtection=true),数据无法以任何...

2021年

删除MaxCompute项目 2021-07-21 新增数据库管理工具连接MaxCompute操作指导。新说明 MaxCompute支持连接数据库管理工具管理MaxCompute项目。DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute 2021-07-19 新增...

准备工作

示例说明:本文以创建一个MaxCompute数据表,利用MaxFrame进行开发处理,并将结果存储到另一个MaxCompute表中为例,为您介绍主要操作流程。通过本地客户端访问 MaxFrame 在系统的命令行执行窗口(例如Windows的CMD窗口)中,通过pip命令...

UDF开发(Java)

更多MaxCompute数据类型版本信息,请参见 数据类型版本说明。MaxCompute Type Java Type Java Writable Type TINYINT java.lang.Byte ByteWritable SMALLINT java.lang.Short ShortWritable INT java.lang.Integer IntWritable BIGINT java...

项目空间操作

详情请参见 MaxCompute数据动态脱敏。自定义的动态脱敏规则。odps.sql.metering.value.max 设置单SQL消费限制值。详情请参见 消费监控告警消费控制。无。odps.sql.acid.table.enable 设置是否开启ACID机制。更多ACID信息,请参见 ACID语义...

数据写入OSS

odps 文件夹中维护了一个.meta 文件,用于保证MaxCompute数据的一致性。odps 的内容只有MaxCompute能正确处理,在其他数据处理引擎中可能无法正确解析,会导致报错。取值为True:MaxCompute使用分片上传功能,以 two-phase commit 的方式...

开发ODPS SQL任务

说明 RAM用户默认没有生产表查询权限,生产表查询权限请前往安全中心申请,DataWorks上MaxCompute数据权限预设以及访问控制,详情请参见 MaxCompute数据权限控制详情。MaxCompute命令授权详情请参见 通过命令管理用户权限。SQL函数 ...

2020年

MaxCompute数据迁移至OTS 2020-07-29 新增迁移MaxCompute数据至OSS最佳实践。新实践 为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS。MaxCompute数据迁移至OSS 2020-07-24 新增数据加密功能。新功能 ...

SETPROJECT

关于MaxCompute数据动态脱敏的更多信息,请参加 数据动态脱敏。自定义的动态脱敏规则。SELECT SQL Project odps.sql.acid.table.enable 设置是否开启ACID机制。关于ACID的更多信息,请参见 ACID语义。True:打开。False:关闭。ALL SQL ...

数据动态脱敏

MaxCompute底层脱敏不支持对MaxCompute数据表的主键字段进行脱敏。MaxCompute底层脱敏仅支持对String类型字段进行脱敏。只有MaxCompute项目中已经存在数据并且数据已创建24小时(h)的情况下,才能使用此功能。准备工作 准备待脱敏的...

选择连接工具

DataWorks 使用DataWorks连接 MaxCompute Studio MaxCompute Studio 数据库管理 DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute ETL工具 使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用...

数据质量衡量

在了解保障基于MaxCompute数据仓库数据质量的方案后,您还需要进一步学习如何制定一套标准度量方案,以及判断质量监控方案是否合适业务需求以及如何改进。例如,针对每一个数据质量事件,必须分析原因和处理过程,制定后续同类事件预防...

MMA概述

MMA(MaxCompute Migration Assist)是一款MaxCompute数据迁移工具。本文为您介绍MMA的使用概述,帮助您快速了解并使用MMA。功能简介 Hive数据迁移到MaxCompute。MaxCompute跨项目数据迁移。EMR+DLF+OSS迁移MaxCompute项目。数据迁移原理 ...

使用MaxCompute分析IP来源最佳实践

在SQL中使用UDF函数分析IP来源 右键单击 业务流程,选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称,并单击 确认。在ODPS SQL节点编辑页面,输入如下语句。select*from ipresource WHERE ipint('192.0.2.0')>=...

Java UDAF

更多MaxCompute数据类型版本信息,请参见 数据类型版本说明。为确保编写Java UDAF过程中使用的数据类型与MaxCompute支持的数据类型保持一致,您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute Type Java Type Java ...

Java UDTF

更多MaxCompute数据类型版本信息,请参见 数据类型版本说明。为确保编写Java UDTF过程中使用的数据类型与MaxCompute支持的数据类型保持一致,您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute Type Java Type Java ...

集成SQLAlchemy

PyODPS集成了SQLAlchemy,可以使用SQLAlchemy查询MaxCompute数据。本文为您介绍如何创建连接,并调用SQLAlchemy接口。创建连接 创建连接语法格式如下。import os from sqlalchemy import create_engine#确保 ALIBABA_CLOUD_ACCESS_KEY_ID ...

Flag参数列表

关于MaxCompute数据动态脱敏的更多信息,请参加 数据动态脱敏。自定义的动态脱敏规则。SELECT SQL Project odps.sql.acid.table.enable 设置是否开启ACID机制。关于ACID的更多信息,请参见 ACID语义。True:打开。False:关闭。ALL SQL ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 云原生大数据计算服务 MaxCompute 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用