Quick BI使用SQL创建数据集如何计算两个时间字段相差...
概述 本文主要描述了使用SQL创建数据集如何计算两个时间字段相差的秒数的方法。详细信息 使用SQL创建数据集，按如下内容编辑：select timediff(live_name,I_live_name)FROM student;适用于 Quick BI
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
公告
那么您需要在运行含有UDF的SQL任务前，将上述的两个参数替换为如下新参数即可，详情请参见 通过UDF访问VPC网络资源。set odps.session.networklink=your_networklink_name 外部表场景 若您在建表DDL语句中加入VPC开关、访问的VPC、对应的IP...
功能发布记录（2022年）
2022.11.10 全部地域 所有DataWorks用户 无 2022-10 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 DataWorks智能数据建模支持E-MapReduce Hive，建模能力对齐MaxCompute DataWorks 智能数据建模>维度建模 新增如下两种功能：...
创建并管理数据集
Quick BI中数据集是可视化分析的基础，您可以将需要分析的数据表创建为数据集，Quick BI支持可视化配置或自定义SQL方式创建数据集。前提条件 您已获取数据，请参见 连接数据源。功能入口 在Quick BI产品首页，通过以下入口，进入创建数据集...
Jindo sql命令介绍
Jindo sql命令是JindoFS自带的工具，...A：为了避免污染Hive元数据，默认Hive看不到Default下的几个表，如果想使用Hive分析这些表，可以通过语句 show create table {table_name} 查看表语句或者使用SQL创建新表，Hive需要执行加载外部表。
Jindo sql命令介绍
Jindo sql命令是JindoFS自带的工具，...A：为了避免污染Hive元数据，默认Hive看不到Default下的几个表，如果想使用Hive分析这些表，可以通过语句 show create table {table_name} 查看表语句或者使用SQL创建新表，Hive需要执行加载外部表。
Jindo sql命令介绍
Jindo sql命令是JindoFS自带的工具，...A：为了避免污染Hive元数据，默认Hive看不到Default下的几个表，如果想使用Hive分析这些表，可以通过语句 show create table {table_name} 查看表语句或者使用SQL创建新表，Hive需要执行加载外部表。
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
2022年
搭建开发环境 2022年2月更新记录 时间 特性 类别 描述 产品文档 2022-02-28 使用SQL管理外部项目。更新说明 重构使用SQL方式管理外部项目内容。使用SQL管理外部项目 2022-02-23 新增列，删除列，列顺序变更。新增 增加新增列、删除列的命令...
2019年
新增两个flag。支持LIMIT OFFSET。支持指定表的列默认值。支持自然连接。支持新运算符。新增删除分区语法。分区和列操作 JOIN 字符串函数 日期函数 SELECT语法 SELECT语法 表操作 JOIN 运算符 分区和列操作 2019年9月更新记录 时间 特性 ...
Hive作业调优
如果两个大表进行JOIN操作时，出现热点，则使用热点Key随机化。例如，log表存在大量user_id为null的记录，但是表bmw_users中不会存在user_id为空，则可以把null随机化再关联，这样就避免null值都分发到一个Reduce Task上。代码示例如下。...
JindoFS实战演示
数据迁移 文档链接 视频链接 视频发布时间 描述 高效迁移HDFS海量文件到OSS 高效迁移HDFS海量文件到OSS 2021-05-11 通过Hadoop DistCp将HDFS海量文件同步到OSS存在很多问题，例如文件数量太大造成内存溢出、同步效率慢、无法保证数据一致性...
2021年
SQL常见问题 2021年3月更新记录 时间 特性 类别 描述 产品文档 2021-03-25 补全MaxCompute错误码列表信息。更新说明 完善MaxCompute错误码列表。错误码概述 Common错误码（ODPS-00CCCCX）SQL错误码（ODPS-01CCCCX）PL错误码（ODPS-02CCCCX...
2023年
SKEWJOIN HINT 2023年11月更新记录 时间 特性 类别 描述 产品文档 2023-11-24 新增迁移服务（MMA）新说明 MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
HBase SQL（Phoenix）FAQ
本文档介绍了您在使用HBase SQL（Phoenix）过程中遇到的常见问题并给出解决办法。ali-phoenix最新版本在Maven中央仓库发布了哪些JAR包？ali-phoenix 4.x发布包如下：GroupId ArtifactId Latest Version ...
快速使用数据湖分析版实例
数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。...
自然语言到SQL语言转义（基于大语言模型的NL2SQL）
为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI推出自研的基于大语言模型的自然语言到数据库查询语言转义（Large Language Model based Nature Language to SQL，简称LLM-based NL2SQL）解决方案，PolarDB for AI会...
日期/时间类型
两个显而易见的问题是：尽管 date 类型与时区没有联系，而 time 类型却可以有。然而，现实世界的时区只有在与时间和日期都关联时才有意义，因为偏移（时差）可能因为实行类似夏时制这样的制度而在一年里有所变化。缺省的时区会指定一个到 ...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
新功能发布记录
无 Spark Distribution SQL Engine AnalyticDB for MySQL Spark提供Spark开源原生能力Distribution SQL Engine的托管服务，支持通过Spark Distribution SQL Engine开发Spark SQL作业，从而更方便地利用SQL分析、处理和查询数据，提升SQL...
Hive作业异常排查及处理
问题描述：使用Tez或MR引擎，在使用Hive SQL执行作业时报错。报错分析：当前作业的counters数量超过默认的counters限制。解决方法：您可以在EMR控制台YARN服务的 配置 页签，搜索 mapreduce.job.counters.max 参数，调大该参数值，修改完后...
表批读写
有关Delta Lake SQL命令的信息，请参见 Databricks Runtime 7.0及更高版本：Databricks Runtime 7.x SQL参考 Databricks Runtime 6.x及以下版本：Databricks Runtime 5.5 LTS和6.x SQL参考 建立表格 Delta Lake支持使用DataFrameWriter...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
Quick BI创建SQL的数据集时使用Excel表？
问题描述 想使用SQL创建数据集时在SQL语句中使用到我本地上传的Excel表，但是搜索找不到本地上传的表。问题原因 本地上传的表会在数据库中生成一张临时表，在SQL语句中搜索要用临时表的表名。解决方案 首先完成文件的上传。用上传的文件 ...
2021年
2021-12 功能名称 功能描述 发布时间 发布地域 相关文档 支持向导式开通MaxCompute到VPC中Hadoop Hive 和数据湖构建DLF+OSS的连接 支持一站式创建到VPC的网络连接、数据源连接以及湖仓一体外部项目，代替原有的工单开通方式，时间从天级别...
质量规则参数配置
两表时间字段比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。选择比较表：选择物理表中的需要比较的表及该物理表的需要比较的字段。关联表达式：内置数据表参数T1、T2，T1为检测表，T2为比较表，例如：T1.id=T2.id...
质量规则参数配置
两表时间字段比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。选择比较表：选择物理表中的需要比较的表及该物理表的需要比较的字段。关联表达式：内置数据表参数T1、T2，T1为检测表，T2为比较表，例如：T1.id=T2.id...
SET
odps.sql.executionengine.enable.rand.time.seed 控制Rand函数使用系统时间或当前InstanceId作为随机数初始化Seed。True：Rand函数使用当前系统时间作为随机数初始化的Seed，但Rand函数不再幂等，不能作为Shuffle Key使用，会导致重跑的...
使用DMS查询时提示“使用连接执行SQL，锁等待超时30s...
问题描述 使用DMS查询时提示下列信息。使用连接执行SQL，锁等待超时30s。问题原因 此报错与RDS的锁等待无关。DMS存在限制，即一个SQL窗口为一个连接（保持会话一致和事务）。在DMS中执行一条SQL语句时，表被锁住，超时时间为30秒。如果长...
功能特性
计算引擎 功能集 功能 功能描述 参考文档 XIHE引擎 XIHE MPP执行模式 MPP计算过程采用pipeline流式计算，满足低延迟的交互式分析场景。XIHE BSP执行模式 BSP采用批计算架构，通过DAG进行任务切分，分批调度。BSP支持计算数据落盘，适用于...
Flag参数列表
您可在参数列表页面搜索参数，查看参数的影响范围、属性名称和属性描述。分类 影响范围 属性名称 属性描述 取值范围 主要影响的SQL命令和函数 生态 Session console.sql.result.instancetunnel InstanceTunnel开关。关于Tunnel命令的更多...
导出开源引擎任务
Conditions节点依赖配置的最外层逻辑关系会使用两个归并节点（Join）来判断是采用Success还是Failure路径处理。说明 Conditions依赖配置的跨周期依赖暂不支持转换。若存在跨周期依赖，则会将其转换为DataWorks的同周期依赖关系。Depend节点...
SETPROJECT
分类 影响范围 属性名称 属性描述 取值范围 主要影响的SQL命令和函数 生态 Session console.sql.result.instancetunnel InstanceTunnel开关。关于Tunnel命令的更多信息，请参见 使用说明。True：打开。False：关闭。SELECT 调度 Session ...
新功能发布记录
设置存储自动扩容 访问地址优化 支持多机房部署方案添加两个访问地址。当访问地址为 2 个时，仅支持只读地址。当访问地址为 1 个时，地址类型可为只读或可读可写。添加访问地址 租户规格下限变更 集群实例中的租户规格下限调整，V3.x 以上...
控制台发布记录
2024-01-16 向量检索使用指南 LLM-based NL2SQL 为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI推出自研的基于语言大模型的自然语言到数据库查询语言转义（Large Language Model based Nature Language to SQL，...
Quick BI中sql参数如何搭配字段控件一起使用
问题描述 sql参数如何搭配字段控件一起使用。问题原因 不清楚sql参数和字段控件在使用时的区别。解决方案 1.首先明确sql参数和字段控件在使用时的区别，图表的sql都是在子查询（建数据集时的sql）的基础上来进行查询，sql参数是在子查询中...
HIVECLI
使用资源中心中的Hive SQL文件 该示例演示了如何使用资源中心中的Hive SQL文件来执行任务。在本例中，先在 资源中心 中定义了 sql 类型的文件（例如，hive.sql），然后在 程序类型 下拉列表中选择 选择资源中心文件，在 资源 下拉列表中...
- 产品推荐
- 这些文档可能帮助您