小版本升级
功能优化 修复Lindorm SQL表属性修改后元数据更新滞后的问题。修复稳定性问题。2.2.18 2022年01月05日 功能优化 优化Lindorm SQL的性能。修复Lindorm SQL中Date类型和Time类型的时区问题。修复稳定性问题。2.2.17 2021年12月17日 功能优化 ...
宽表引擎版本说明
功能优化 修复Lindorm SQL表属性修改后元数据更新滞后的问题。修复稳定性问题。2.2.18 2022年01月05日 功能优化 优化Lindorm SQL的性能。修复Lindorm SQL中Date类型和Time类型的时区问题。修复稳定性问题。2.2.17 2021年12月17日 功能优化 ...
管理Kafka JSON Catalog
Kafka JSON Catalog提供的表可以直接作为Flink SQL作业中的源表使用。Kafka JSON Catalog可以配合 CREATE TABLE AS（CTAS）语句 完成Schema变更的数据同步。本文将从以下方面为您介绍如何管理Kafka JSON Catalog：创建Kafka JSON Catalog ...
构建模型
您可以选择数据表关联数据表、数据表关联SQL代码创建表、SQL代码创建表关联数据表和SQL代码创建表关联SQL代码创建表。说明 SQL代码的编辑操作请参见 自定义SQL。数据表关联数据表 在数据集编辑页面，按照下图步骤，拖拽数据表至画布中。...
使用限制
由于Lindorm Ganos SQL在Lindorm宽表引擎的基础上支持Ganos时空数据服务，所以宽表SQL的使用限制也适用于Lindorm Ganos SQL，具体请参见 使用限制。Lindorm Ganos SQL的使用限制还包括以下几点：WHERE语句中，除了 ST_Contains、ST_DWithin...
基于Python的应用开发
通过宽表SQL语法使用Lindorm宽表引擎。以创建表为例。sql_create_table="create table if not exists test_python(c1 integer,c2 integer,primary key(c1))"print(sql_create_table)statement.execute(sql_create_table)完整示例 完整示例...
Quick BI创建SQL的数据集时使用Excel表？
概述 本文主要讲述用SQL创建数据集时怎么使用到本地上传的Excel表。问题描述 想使用SQL创建数据集时在SQL语句中使用到我本地上传的Excel表，但是搜索找不到本地上传的表。问题原因 本地上传的表会在数据库中生成一张临时表，在SQL语句中...
Jindo sql命令介绍
Jindo SQL使用Spark-SQL语法。您可以使用SQL进行分析和查询fs_image表。代码示例如下图所示。例如：根据某次转存的元数据信息统计该namespace下的目录个数。说明 namespace和datetime为Jindo Sql增加的两列，分别对应于namespace名称和上传...
Jindo sql命令介绍
Jindo SQL使用Spark-SQL语法。您可以使用SQL进行分析和查询fs_image表。代码示例如下图所示。例如：根据某次转存的元数据信息统计该namespace下的目录个数。说明 namespace和datetime为Jindo Sql增加的两列，分别对应于namespace名称和上传...
Jindo sql命令介绍
Jindo SQL使用Spark-SQL语法。您可以使用SQL进行分析和查询fs_image表。代码示例如下图所示。例如：根据某次转存的元数据信息统计该namespace下的目录个数。说明 namespace和datetime为Jindo Sql增加的两列，分别对应于namespace名称和上传...
SQL查询
SQL示例 使用时序表的多值模型映射表查询数据的SQL示例如下：查询某台车辆一段时间内的位置坐标 select gps from `vehicles_timeseriesdata:multi_model` where_m_name='vehiclesSeriesData' and_data_source='vin_id_1488' and_time>...
SQL查询
对于已有数据表，通过执行CREATE TABLE一键自动建立映射关系后，您可以使用SQL方式访问表中数据。SQL查询功能支持通过多元索引来快速查询满足查询条件的数据。使用SQL查询时，系统会根据SQL语句自动选择合适的方式来加速SQL访问。SQL查询...
使用流程
创建时序表并建立SQL映射关系后，您可以使用SQL方式访问表中数据。对于同一个时序表，您可以建立三种SQL映射关系用于数据查询。更多信息，请参见 使用SQL查询时序数据。通过命令行工具使用时序模型的流程 通过命令行工具使用时序模型流程中...
SQL概述
使用限制 更多信息，请参见 SQL使用限制。SQL中大小写 表格存储的SQL引擎遵循通用的SQL规范，对列名大小写不敏感，例如操作 SELECT Aa FROM exampletable;语句与 SELECT aa FROM exampletable;语句是等价的。由于表格存储中原始表的列名大...
SQL Console新交互模式下变更表数据和结构（公测中）
新交互模式的SQL Console基于原SQL Console进行了升级，升级后的SQL Console支持在执行SQL前备份数据、定时执行SQL、预估SQL执行耗时和异步执行SQL等功能。背景信息 DMS新交互模式的SQL Console，支持如下执行SQL的方式：直接执行：建议...
SQL Console初体验
查看表数据 使用SQL语句查看表数据 在 SQL Console 中，输入SQL查询语句或双击表名称（自动生成查询表的SQL语句），再单击 执行。使用可视化的方式查看表数据 在 SQL Console 左侧的表列表中，右键单击目标表，选择 打开表，即可查看表数据...
查询与变更表结构
使用SQL语句查询表结构 进入SQL Console。在 SQL Console 窗口中，左键双击表名，系统将自动生成查询表的SQL语句，再单击 执行。通过表的对象信息查看表结构 进入SQL Console。在 SQL Console 窗口中，右键单击目标表，从弹出的列表中单击 ...
JSON函数
如果只关心candidate是否存在路径path，可以使用 JSON_CONTAINS_PATH 函数。示例：SET@json_doc='{"a":123,"b":null,"c":{"d":456}}';SELECT JSON_CONTAINS(@json_doc,'123','$.a');JSON_CONTAINS(@json_doc,'123','$.a')|+-+|1|+-+SELECT ...
Delta Lake 快速开始一
该Notebook展示了如何将JSON数据转换为Delta Lake格式，创建Delta表，在Delta表中Append数据，最后使用Delta Lake元数据命令来显示表的历史记录、格式和详细信息。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请...
数据类型
目前支持在Duplicate和Unique模型的表中使用。JSON/二进制JSON类型，采用二进制JSON格式存储，通过JSON函数访问JSON内部字段。默认支持1048576字节（1MB），可调大到2147483643字节（2GB）。可通过BE配置 jsonb_type_length_soft_limit_...
JSON类型
当在这类系统间使用 JSON 作为一种交换格式时，应该考虑丢失数字精度的风险。相反地，如表中所述，有一些 JSON 基本类型输入格式上的次要限制并不适用于相应的本数据库类型。JSON 基本类型和相应的本数据库类型 JSON 基本类型 本数据库类型...
使用说明
您可以通过访问 information_schema.sql_sharing 表来获取使用SQL Trace功能跟踪的SQL语句的执行信息和TopSQL等。示例如下：获取指定SQL的执行信息和执行计划信息。SELECT*FROM information_schema.sql_sharing WHERE sql_id=polar_sql_id...
SQL查询
进入SQL模式后，使用SQL语句绑定表的映射关系、获取映射表列表、查看映射表信息以及查询表中数据。说明 关于SQL查询的更多信息，请参见 SQL概述。进入SQL模式 执行 sql 命令，进入SQL模式。绑定映射关系 对于数据表，您需要绑定数据表的...
JSON函数和操作符
本文描述了用于处理和创建JSON数据的函数和运算器，以及SQL/JSON路径语言。处理和创建JSON数据 json和jsonb操作符表展示了可以用于JSON数据类型的操作符。此外，比较操作符表所示的常用比较操作符也适用于 jsonb，但不适用于 json。比较...
Python SDK常见问题
例如，您有30张表需要合成一张表，此时如果使用SQL，则需要对30张表执行UNION ALL操作。如果使用PyODPS，如下代码就可以完成。table_names=['table1',.,'tableN']dfs=[o.get_table(tn).to_df()for tn in table_names]reduce(lambda x,y:x....
PyODPS常见问题
例如，您有30张表需要合成一张表，此时如果使用SQL，则需要对30张表执行UNION ALL操作。如果使用PyODPS，如下代码就可以完成。table_names=['table1',.,'tableN']dfs=[o.get_table(tn).to_df()for tn in table_names]reduce(lambda x,y:x....
脚本模式：高级SQL（Mybatis语法）示例
数据服务支持通过脚本模式来生成API，脚本模式可使用基础SQL或高级SQL语法编写查询逻辑。其中，高级SQL涵盖了Mybatis语法的常见标签类型（例如，if、choose、when、otherwise、trim、foreach、where），您可以借助标签语法来灵活实现空值...
模型训练
edit_config_json 否 使用JSON的方式对config的一些字段进行修改，例如：edit_config_json="{\"train_config.fine_tune_checkpoint\":\"oss:/xxx/\"}。script 否 指定EasyRec算法TAR文件。selected_cols 否 表里面用于训练和评估的列,有助...
JSON数据类型
Lindorm宽表引擎支持在建表、插入数据和更新数据时使用JSON数据类型。JSON（JavaScriptObject Notation）是一种可以在多种语言之间进行数据格式交换的数据类型。JSON数据的格式为键值对，结构清晰，语法易读，同时也方便前后端的数据传输。...
基于Python DB-API的应用开发
本文介绍通过Python DB-API开发Lindorm宽表应用的方法和示例。前提条件 已安装Python环境，且Python版本为3.7及以上版本。已将客户端的IP地址添加至Lindorm白名单。...语法参考 关于Lindorm宽表SQL的语法使用请参见 Lindorm宽表SQL语法手册。
Delta Lake 快速入门
创建表 若要创建一个delta表，可以使用现有的Apache Spark SQL代码，也可以将parquet、csv、json等数据格式转换为delta。对于所有文件类型，您将文件读入DataFrame并将格式转为delta：Python%pyspark events=spark.read.json("/xz/events_...
V5.4.x系列实例版本说明
缺陷修复 修复SQL限流匹配表名时带反引号，无法匹配表名的问题。修复drds节点启动时SQL限流拿到错误配置的问题。修复SQL限流重新调度执行时（wait_queue_size大于0，语句从等待队列出来执行），出错时未返回错误给客户端，导致客户端阻塞的...
DBMS_SQL
PolarDB PostgreSQL版（兼容Oracle）支持查询动态SQL，且以与Oracle兼容的方式来使用动态SQL。表 1.DBMS_SQL函数/存储过程 函数/存储过程 类型 返回类型 说明 BIND_VARIABLE(c,name,value[,out_value_size])存储过程 N/A 将值绑定到变量。...
2023年
EXTRACT JSON_ARRAY JSON_OBJECT JSON_EXISTS 2023-06-29 新增MaxCompute JSON类型使用指南（试用Beta版本）新说明 MaxCompute当前支持了JSON数据类型，提高了表中带有JSON类型数据的计算和分析的性能，本文为您介绍JSON类型的使用方法。...
使用EasyRec构建推荐模型
本文以读取MaxCompute表数据为例，介绍如何使用EasyRec进行模型训练、配置任务例行化及部署模型。前提条件 开通OSS，并创建Bucket，详情请参见 开通OSS服务 和 控制台创建存储空间。重要 创建Bucket时，不要开通版本控制，否则同名文件无法...
Cost-based SQL诊断引擎
验证SQL使用到的表、字段是否符合目标数据库的结构设计。候选索引生成：依据解析验证后的语法树，生成多种候选索引组合。基于代价评估：代价评估基于内置独立于数据库内核的优化器，获取数据库统计信息，在诊断引擎内部作缓存。诊断引擎...
SQL表达式
JSON数据可以映射为虚拟的表，其中Key对应表的列，Value对应列值，因此可以使用SQL来进行数据处理。数据流转规则的SQL表达示意图如下：数据流转规则SQL示例：处理自定义Topic数据的SQL示例。某环境传感器可以采集温度、湿度及气压数据。...
如何复制数据表的表结构
desc-t mytable-o/localpath/filename.json 使用导出的JSON文件创建表即可完成复制。手动修改JSON文件中的表名称。根据所用平台执行相应命令通过导出的JSON文件创建表。Windows平台 create-i D:\\localpath\\filename.json Linux和Mac平台 ...
JSON
使用JSON格式时，参数取值为json。json.fail-on-missing-field 否 false Boolean 参数取值如下：true：当解析字段缺失时，跳过当前字段或行。false（默认值）：当解析字段缺失时，抛出错误，作业启动失败。json.ignore-parse-errors 否 ...
OGG for Bigdata(Kafka)
OGG for Bigdata是Oracle官方的将数据库数据实时流式传输到大数据系统的工具，对于Oracle19c及以下的版本均可以支持，目前OGG for Bigdata可以将数据写入Kafka，而DataHub已经兼容Kafka Producer协议，所以用户除了使用DataHub插件将Oracle...
- 产品推荐
- 这些文档可能帮助您