SQL Console

SQL Console使用SQL语句开发Hologres,为您提供秒级交互式查询体验。本文为您介绍SQL Console的功能和用法。文件夹 文件夹模块可以存放新建的临时查询,方便您管理临时查询。单击左侧菜单栏 SQL Console>新建>文件夹,创建一个文件夹。您...

Flink_SQL任务开发方式

Dataphin的Flink_SQL任务支持多种开发方式,包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发,且不同开发方式所创建的表支持任意混用,包括镜像表。不同开发方式的使用方法、...

镜像管理

MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像,无需执行繁琐的镜像打包、上传...

Flink_SQL任务开发方式

Dataphin的Flink_SQL任务支持多种开发方式,包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发,且不同开发方式所创建的表支持任意混用,包括镜像表。...

DataWorks节点合集

DataWorks的数据开发(DataStudio)模块为您提供多种类型的节点,包括用于数据同步的数据集成节点,用于数据清洗的引擎计算节点(例如,ODPS SQL、Hologres SQL、EMR Hive),以及可对引擎计算节点进行复杂逻辑处理的通用节点(例如,可...

SQL概述

MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言,其语法类似于标准SQL,但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...

数据查询

Lindorm时序引擎提供标准的SQL查询能力、PromQL查询能力、TSDB兼容的查询能力。本文介绍时序数据查询的方法。标准SQL查询 Lindorm时序引擎推荐使用标准SQL进行数据查询。Lindorm时序引擎针对SQL查询做了许多查询优化,提升大多数场景的查询...

新建Flink_SQL任务

权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建FLINK_SQL计算任务。步骤一:新建 FLINK_SQL 任务 在Dataphin首页,单击顶部菜单栏 研发。按照下图操作指引,进入 新建Flink_SQL任务 对话框。在 新建Flink_SQL任务 对话框,配置...

新建BLINK_SQL任务

权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建BLINK_SQL计算任务。步骤一:新建BLINK_SQL任务 在Dataphin首页,单击顶部菜单栏 研发。按照下图操作指引,进入 新建BLINK_SQL 对话框。在 新建BLINK_SQL 对话框,配置参数。参数 ...

公共节点

Flink Vvr SQL Flink Vvr SQL节点是基于Apache Flink(以下简称Flink)开发的商业版,VVR引擎接口完全兼容Flink开源版本,适用于在K8s部署运行的Flink节点,具体操作,请参见 新建Flink Vvr SQL类型的公共节点。Flink SQL Flink SQL节点是...

创建Microsoft SQL Server数据源

通过创建Microsoft SQL Server数据源能够实现Dataphin读取Microsoft SQL Server的业务数据或向Microsoft SQL Server写入数据。本文为您介绍如何创建Microsoft SQL Server数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,...

新建FLINK_SQL任务

权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建FLINK_SQL计算任务。步骤一:新建 FLINK_SQL 任务 在Dataphin首页,单击顶部菜单栏 研发。按照下图操作指引,进入 新建Flink_SQL任务 对话框。在 新建Flink_SQL任务 对话框,配置...

新建Flink Vvp SQL类型的公共节点

Flink Vvp SQL公共节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义开发的公共节点。操作步骤 方式一:写SQL语句方式 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,...

新建Flink Vvp SQL类型的公共节点

Flink Vvp SQL公共节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义开发的公共节点。操作步骤 方式一:写SQL语句方式 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,...

CreateFile

调用CreateFile,在数据开发中创建一个文件。目前不支持调用该接口创建数据集成节点任务。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 ...

节点类型说明

Flink Vvr SQL节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义开发的节点。Flink Vvr Stream Flink Vvr 流式节点,运行于Flink Vvr云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、...

通过DataWorks管理作业

Lindorm计算引擎兼容CDH(Cloudera's Distribution Including Apache Hadoop),支持通过大数据开发治理平台DataWorks开发、管理、调度、运维分布式计算作业。作业类型包括交互式SQL查询、SQL作业、JAR作业、Python作业等。本文介绍如何...

MapReduce支持SQL运行时执行模式

新版本MaxCompute支持将MapReduce作业指定为SQL运行时执行模式,基于SQL运行时,MapReduce可以使用MaxCompute SQL引擎编译器、基于代价的优化器和向量化执行的执行引擎,同时可以复用SQL引擎开发的各种新特性,包括功能、性能、稳定性等...

SQL审核

数据管理DMS 的SQL审核功能,支持对上传的SQL语句进行审核并提供优化建议,避免无索引或不规范的SQL语句,降低SQL注入风险。前提条件 数据库类型如下:RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL版、其他来源MySQL。RDS MariaDB。...

DataWorks On MaxCompute使用说明

节点代码定义:MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...

SQL审核最佳实践

数据管理DMS 的SQL审核功能,支持对SQL语句进行批量审核并提供优化建议,避免无索引或不规范的SQL语句,降低SQL注入风险。本文以对XML文件中多个SQL语句进行审核为例,向您展示配置SQL审核规则、审核目标文件中SQL语句的流程。背景信息 在...

调试代码片段:快捷运行

创建ODPS SQL节点,详情请参见 开发ODPS SQL任务。创建EMR Hive节点,详情请参见 创建EMR Hive节点。使用限制 目前仅支持ODPS SQL、EMR Hive节点使用快捷运行功能。仅非运行状态的节点支持使用该功能。如果节点的任务代码处于运行状态,则...

最佳实践:SQL组件

附录:表结构说明 您需在ODPS SQL节点中创建销售明细数据表和目标输出表,详情请参见 开发ODPS SQL任务。创建销售明细数据表 销售明细数据表的建表语句如下:CREATE TABLE IF NOT EXISTS company_sales_record(order_id STRING COMMENT '...

提交并发布模型

您可以将已创建的数据模型提交至开发环境,并发布至生产环境进行调度运行。本文为您介绍如何提交并发布已创建的数据模型。前提条件 如果您使用的是阿里云主账号,请下载建模工具。如果您使用的是RAM用户,请完成授权并下载建模工具。详情请...

创建并使用MaxCompute表

提交成功后,可执行如下操作:查看表结构 在数据开发(DataStudio)开发ODPS SQL任务,通过 desc projectname.tablename 命令查看。查看引擎信息 查看生产环境绑定的MaxCompute引擎及新建表,详情请参见 绑定与管理MaxCompute引擎。...

入门实践

本文以实现构建数据标准来设计数据模型,并通过规范化的流程...详情请参见 开发ODPS SQL任务。打开ODPS SQL节点的编辑页面,运行 show tables。在 运行日志 中,通过 Ctrl+F 搜索 customer。您还可以运行 DESC 语句,确认表结构是否符合预期。

数据开发与运行

创建ODPS SQL节点的详情请参见 开发ODPS SQL任务,删除表的语法格式请参见 表操作。如何将本地数据上传到MaxCompute表中?您可以进入数据开发找到导入表功能导入本地数据。在EMR计算引擎中建表失败,界面提示:call emr exception?可能...

新功能发布记录

SQL审核 优化数据工厂 优化 优化任务编排和数仓开发SQL任务节点的SQL编辑器,支持智能提示。配置任务流 2020年 12月 功能名称 变更类型 功能描述 相关文档 自定义顶部菜单栏 新增 将常用的功能添加到顶部菜单栏,您可以更加便捷地使用...

概述

本文为您介绍什么是HoloStudio,以及HoloStudio的核心功能。HoloStudio是基于交互式分析Hologres构建...SQL Console 基于SQL编辑器,为您提供纯SQL语句的开发以及秒级查询体验。终端 在Web端为您提供psql客户端服务,满足您在终端开发的需求。

Flink SQL参考

Flink SQL是为了简化计算模型、降低您使用Flink门槛而设计的一套符合标准SQL语义的开发语言。本文通过以下方面,为您介绍Flink SQL的使用方法。操作 文档 关键字 关键字 创建数据视图 创建数据视图 DML数据操作语句(INSERT INTO)INSERT ...

Dataphin同样的SQL脚本在开发环境执行正常,在生产...

问题描述 Dataphin同样的SQL脚本在开发环境执行正常,在生产环境执行报错"Sql AST Parser Exception:OsBizException:Not Support:sql count>=100 in one script。问题原因 开发环境中除了建表语句或者事务这种等特殊场景,其他SQL语句以...

概述

Flink SQL是为了简化计算模型、降低您使用Flink门槛而设计的一套符合标准SQL语义的开发语言。本文通过以下方面,为您介绍Flink SQL的使用方法。操作 文档 关键字 关键字 创建数据视图 创建数据视图 DML数据操作语句(INSERT INTO)INSERT ...

Hologres SQL

Hologres SQL是基于SQL命令语句的编辑器,支持您在DataStudio中通过SQL命令语句进行Hologres开发。本文为您介绍如何在DataStudio中使用Hologres SQL进行Hologres开发。前提条件 开通Hologres并绑定至DataWorks工作空间,详情请参见 绑定...

简介

背景信息 Spark Streaming SQL是基于Spark Structured Streaming开发完成的,所有语法功能和使用限制遵循Spark Structured Streaming的标准,因此可以使用SQL语句来开发流式分析作业。注意事项 EMR集群是否支持Spark Streaming SQL功能与...

概述

本文为您介绍什么是HoloStudio,以及HoloStudio的核心功能。重要 为了提供一致的开发体验,...SQL Console 基于SQL编辑器,为您提供纯SQL语句的开发以及秒级查询体验。终端 在Web端为您提供psql客户端服务,满足您在终端开发的需求。

可选:运维SQL分析任务

SQL分析任务上线后,您可以查看SQL分析任务的基本信息和配置情况,以及SQL分析任务的调度情况。本文介绍运维SQL分析任务的操作步骤。前提条件 已配置并发布SQL分析任务,具体操作,请参见 步骤三:设置任务调度策略并发布。背景信息 SQL...

自动SQL限流

对于SQL模板限流,如果SQL中包含模板ID信息,会优先使用ID类信息,比如使用数据库中间件根据模板自动生成的SQL ID或者开发人员在SQL模板中添加的HINT信息。使用ID的优点是容易保证模板唯一,不会对其它模板的SQL造成影响,缺点是同样的SQL...

新建Flink SQL类型的公共节点

Flink SQL公共节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义的开发的公共节点。操作步骤 方式一:写SQL语句方式 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择...

新建Flink SQL类型的公共节点

Flink SQL公共节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义的开发的公共节点。操作步骤 方式一:写SQL语句方式 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择...

Dataphin如何查看SQL计算任务的运行记录

概述 Dataphin某一时间开发环境在SQL计算任务中运行了一段SQL,如何查看该段SQL的运行记录。详细信息 在开发-运行记录页面可以查看资产数据预览、数据处理、建模数据预览以及OpenAPI数据查询的运行记录,记录以天为粒度进行划分。相关文档 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
移动开发平台 mPaaS 大数据开发治理平台 DataWorks 云原生数据仓库AnalyticDB MySQL版 云解析DNS 实时计算 Flink版 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用