SQL转换
ADAM的SQL转换工具可以将Oracle、Teradata、Db2语句转化为MySQL、PolarDB O引擎、云原生数据仓库 AnalyticDB PostgreSQL 版、RDS PostgreSQL、RDS PPAS、PolarDB-X语句。操作步骤 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发...
在本地环境上使用PyODPS
创建ODPS入口 执行SQL DataFrame 设置运行参数hints 更多PyODPS的使用指导请参见 基本操作概述、DataFrame概述。您也可以参考示例文档：使用PyODPS节点进行结巴中文分词，进行一个端到端的简单操作。本地运行python文件。创建ODPS入口 您...
体验智能SQL转换领航助手（Migration on Pilot）
背景 在传统的异构数据库迁移上云场景中，通常存在以下难点和痛点：源/目标两种数据库属于异构数据库，源数据库使用者不一定熟悉如何使用目标数据库及其SQL语法规则。异构数据库之间的SQL语法规则差异，导致在异构数据库迁移前后必须要对...
体验智能SQL转换领航助手（Migration on Pilot）
背景 在传统的异构数据库迁移上云场景中，通常存在以下难点和痛点：源/目标两种数据库属于异构数据库，源数据库使用者不一定熟悉如何使用目标数据库及其SQL语法规则。异构数据库之间的SQL语法规则差异，导致在异构数据库迁移前后必须要对...
MapReduce API
df1=DataFrame(pd.DataFrame({'a':['name1','name2','name3','name1'],'b':[1,2,3,4]}))>>>df1 a b 0 name1 1 1 name2 2 2 name3 3 3 name1 4>>>df2=DataFrame(pd.DataFrame({'a':['name1']}))>>>df2 a 0 name1>>>df1.bloom_filter('a',df2...
Babelfish简介
当您希望在单一的数据库实例中同时使用SQL Server和PostgreSQL能力，或计划将现有应用从SQL Server迁移到更具成本效益的PostgreSQL时，Babelfish for RDS PostgreSQL实现了对T-SQL语句和TDS协议的支持。本文从产品特性、架构、适用场景以及...
通过DataWorks使用PyODPS
ODPS入口 执行SQL DataFrame 获取调度参数 设置运行参数hints 更多PyODPS的使用指导请参见 基本操作概述、DataFrame概述。您也可以参考示例文档：使用PyODPS节点进行结巴中文分词，进行一个端到端的简单操作。进行调度配置，完成后保存、...
任务管理
任务是指在DMS发起的变更SQL任务，例如普通数据变更、结构设计、库表同步等，但不包含在SQL窗口中直接执行的SQL。本文为您介绍了如何新建或管理SQL任务。前提条件 您的用户角色为管理员或DBA，关于用户角色信息，请参见 系统角色。操作步骤...
（邀测）MaxCompute Notebook使用说明
支持在MaxCompute Notebook Code中直接使用MaxCompute SQL语法操作MaxCompute数据，并支持将MaxCompute SQL执行结果可视化转为PyODPS DataFrame，同时支持PyODPS DataFrame与Pandas DataFrame互相转换。内置丰富函数库 MaxCompute Notebook...
概述
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...
计算与分析概述
Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时，支持通过E-MapReduce SQL或者DataFrame编程方式访问 表格存储。Hive或者HadoopMR 宽表模型 使用Hive或者HadoopMR 使用Hive或者HadoopMR访问 表格存储 中的数据。函数计算 宽表模型 ...
开发PyODPS 2任务
通过PyODPS发起的SQL和DataFrame任务（除to_pandas外）不受此限制。非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。由于兼容性原因，在DataWorks中，options.tunnel.use_instance_tunnel 默认设置为...
Python SDK常见问题
使用PyODPS统计表中某个字段的空值率时，是用execute_sql还是DataFrame？PyODPS数据类型如何设置？使用PyODPS时遇到ValueError，如何解决？安装PyODPS时，提示Warning:XXX not installed，如何解决？产生此问题的原因为组件缺失，请根据报...
开发PyODPS 2任务
通过PyODPS发起的SQL和DataFrame任务（除to_pandas外）不受此限制。非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。由于兼容性原因，在DataWorks中，options.tunnel.use_instance_tunnel 默认设置为...
开发PyODPS 3任务
通过PyODPS发起的SQL和DataFrame任务（除to_pandas外）不受此限制。非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。由于兼容性原因，在DataWorks中，options.tunnel.use_instance_tunnel 默认设置为...
开发PyODPS 3任务
通过PyODPS发起的SQL和DataFrame任务（除to_pandas外）不受此限制。非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。由于兼容性原因，在DataWorks中，options.tunnel.use_instance_tunnel 默认设置为...
SQL Adapter
ADAM SQL Adapter是基于PostgreSQL通迅协议的SQL转发代理服务。本文介绍如何使用SQL Adapter实现不兼容SQL的转换。功能介绍 SQL Adapter目前支持Oracle到PolarDB O或PolarDB PostgreSQL的SQL改造。主要功能有：实时转换从Oracle迁移到...
Spark使用OSS Select加速数据查询
help for more information.scala>val sqlContext=spark.sqlContext sqlContext:org.apache.spark.sql.SQLContext=org.apache.spark.sql.SQLContext@4bdef487 scala>sqlContext.sql("CREATE TEMPORARY VIEW people USING ...
使用限制
通过PyODPS发起的SQL和DataFrame任务（除to_pandas外）不受此限制。由于缺少matplotlib等包，如下功能可能受限：DataFrame的plot函数。DataFrame自定义函数需要提交到MaxCompute执行。由于Python沙箱限制，第三方库只支持所有的纯粹Python...
CREATE TRANSFORM
语法 CREATE[OR REPLACE]TRANSFORM FOR type_name LANGUAGE lang_name(FROM SQL WITH FUNCTION from_sql_function_name[(argument_type[,.])],TO SQL WITH FUNCTION to_sql_function_name[(argument_type[,.])]);参数 type_name 该转换的...
HBase SQL(Phoenix)4.x使用说明
Phoenix查询引擎支持使用SQL进行HBase标准版数据的查询，会将SQL查询转换为一个或多个HBase API，协同处理器与自定义过滤器的实现，并编排执行。使用Phoenix进行简单查询，其性能量级是毫秒。更多的信息请参见 官网。背景信息 Ali-Phoenix...
SparkSQL自适应执行
spark.sql.adaptive.skewedPartitionFactor 10 当一个partition的size大于该值（所有parititon大小的中位数）且大于spark.sql.adaptive.skewedPartitionSizeThreshold，或者parition的条数大于该值（所有parititon条数的中位数）且大于 ...
配置说明
配置说明 配置类别 对应于DataFrame API SQL配置格式 说明 是否必选 queryName writeStream.queryName(.)SET streaming.query.name=$queryName 每个Stream Query的名称，各个Query的配置项会根据名称来区分。是 option writeStream.option...
Spark SQL、Dataset和DataFrame基础操作
本文为您介绍Spark SQL、Dataset和DataFrame相关的概念，以及Spark SQL的基础操作。Spark SQL、Dataset和DataFrame介绍 Spark SQL是一个用于结构化数据处理的Spark模块，与基本的Spark RDD的API不同，Spark SQL的接口还提供了更多关于数据...
交互分析管理
移动SQL参数 鼠标移动到任一SQL参数上，单击左侧 图标不松手，上下移动书签，可以修改预览页已使用SQL参数的显示顺序。使用SQL参数 在 数据源 页签选择任一数据源，单击 图标，打开SQL编辑器。说明 若找不到 图标，依次单击 更多操作>转为...
SQL 编辑和执行
背景信息 ODC SQL 窗口提供了用于处理数据的用户界面。在 SQL 窗口中，用户可以对数据进行排序、过滤、添加、编辑和删除以及执行数据库对象。本文档旨在介绍用户如何在 SQL 窗口中编辑和执行 SQL 语句。SQL 编辑 示例：在 SQL 窗口中，创建...
自然语言到SQL语言转义（基于大语言模型的NL2SQL）
为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI推出自研的基于大语言模型的自然语言到数据库查询语言转义（Large Language Model based Nature Language to SQL，简称LLM-based NL2SQL）解决方案，PolarDB for AI会...
PyODPS常见问题
使用PyODPS统计表中某个字段的空值率时，是用execute_sql还是DataFrame？PyODPS数据类型如何设置？使用PyODPS时遇到ValueError，如何解决？安装PyODPS时，提示Warning:XXX not installed，如何解决？产生此问题的原因为组件缺失，请根据报...
Sequence
目前，DataFrame的执行后端支持MaxCompute SQL、Pandas和数据库（MySQL和Postgres）。DataFrame支持的数据类型与MaxCompute类型的映射关系如下。MaxCompute类型 DataFrame类型 BIGINT INT64 DOUBLE FLOAT64 STRING STRING DATETIME ...
使用Python访问Hologres
cur.close()conn.close()Pandas DataFrame快速写入Hologres最佳实践 使用Python时，经常会使用Pandas将数据转换为DataFrame，并对DataFrame进行处理，最终将DataFrame导入Hologres，此时希望将DataFrame快速导入Hologres。导入时候常用 to_...
概述
使用场景 Mars与PyODPS DataFrame使用场景如下：Mars 经常使用PyODPS DataFrame的 to_pandas()方法，将PyODPS DataFrame转换成Pandas DataFrame的场景。熟悉Pandas接口，但不愿意学习PyODPS DataFrame接口的场景。使用索引的场景。创建...
执行
print(type(iris[iris.sepalwidth].to_pandas(wrap=True)))返回结果：<class 'odps.df.core.DataFrame'>说明 PyODPS可以执行 open_reader 方法，通过 reader.to_pandas()转成Pandas DataFrame。详情请参见 表。立即运行设置运行参数 对于...
创建DataFrame
从Pandas DataFrame创建DataFrame 从Pandas DataFrame创建DataFrame，您需要将Pandas DataFrame对象传入DataFrame方法。代码示例 from odps.df import DataFrame#从Pandas DataFrame创建DataFrame。import pandas as pd import numpy as np...
使用OPTIMIZE和Z-ORDER优化商品库存查询性能
查看当前Parquet表的数据%spark.sql-查看某个StockCode下的数据 SELECT*FROM current_inventory WHERE StockCode IN('21877','21876')步骤1：向Parquet表中插入记录%pyspark#创建2条记录，准备插入到表中并转换为DataFrame items=[('...
Delta Lake 快速入门
对于所有文件类型，您将文件读入DataFrame并将格式转为delta：Python%pyspark events=spark.read.json("/xz/events_data.json")events.write.format("delta").save("/xz/delta/events")spark.sql("CREATE TABLE events USING DELTA ...
数据输入输出
MaxCompute表 您可以使用MaxCompute表创建MaxFrame DataFrame对象，并将计算结果存储到另一张MaxCompute表中。从非分区表 test_odps_table 中获取数据，通过MaxFrame进行转换并将其存储到另一张分区表 test_processed_odps_table 中，代码...
镜像管理
MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像，无需执行繁琐的镜像打包、上传...
查询节点（Qrs）指标
Qrs Sql查询指标 名字 含义 opensearch.ha3suez.qrs.sql.qps sql查询的 QPS，包含各种 Error 查询 opensearch.ha3suez.qrs.sql.errorqps sql查询的总error数 opensearch.ha3suez.qrs.sql.getplanerrorqps sql查询生成可用的iquan plan失败...
查询节点（Qrs）指标
Qrs Sql查询指标 名字 含义 opensearch.ha3suez.qrs.sql.qps sql查询的 QPS，包含各种 Error 查询 opensearch.ha3suez.qrs.sql.errorqps sql查询的总error数 opensearch.ha3suez.qrs.sql.getplanerrorqps sql查询生成可用的iquan plan失败...
Delta Lake 快速开始一
demo/events.json"deltaPath="/delta/events"database="Delta_QuickStart_Database"导入数据到Dataframe中&打印数据data%pyspark from pyspark.sql.functions import expr from pyspark.sql.functions import from_unixtime#spark.read读取...
- 产品推荐
- 这些文档可能帮助您