使用OpenAPI示例
本文介绍如何使用阿里云Python语言SDK开发包，调用 云数据库Redis版 的DescribeInstancesOverview接口（查询实例列表及其基本信息）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要的参数及权限...
使用SDK示例代码消费订阅数据
重要 本操作为Java语言的SDK客户端示例，Python和Go语言的示例代码，请参见 dts-subscribe-demo。操作步骤 说明 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤，请参见 使用SDK示例代码消费PolarDB-X 1.0订阅数据。如果...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
Python应用接入SLS Trace实践
本视频介绍将Python应用的Trace数据接入到日志服务的操作步骤。
使用OpenAPI示例
本文介绍如何使用阿里云Python语言SDK开发包，调用 云数据库ClickHouse 的DescribeDBClusters接口（查询实例列表及其基本信息）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要的参数及权限等，...
实践教程
针对各种业务需求，Dataphin提供相关实践教程，您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
使用OpenAPI示例
本文介绍如何使用阿里云Python语言SDK开发包，调用 云原生数据仓库AnalyticDB PostgreSQL版 的DescribeDBInstances接口（查询实例列表）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要的参数及...
UDF开发（Python3）
Python 2 UDF迁移 Python 2官方已于2020年初停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDF的MaxCompute项目。建议所有的Python UDF都直接使用Python 3语言编写。存量项目：创建了...
TensorFlow常见问题
Python不支持读取OSS数据，因此所有调用Python Open()及 os.path.exist()等文件和文件夹操作函数的代码都无法执行。例如 Scipy.misc.imread()及 numpy.load()等。通常采用以下两种方式在PAI中读取数据：使用tf.gfile下的函数，适用于简单...
使用OpenAPI示例
本文介绍如何使用阿里云Python语言SDK开发包，调用 云原生数据仓库AnalyticDB MySQL版 的DescribeDBClusters接口（查询实例列表）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要的参数及权限等...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
功能更新动态（2024年）
创建数据表质量规则 创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 数据安全 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以...
管理项目
本文介绍如何通过EMR OpenAPI创建数据开发项目并对项目进行管理。前提条件 已创建集群，详情请参见 创建集群。已获取集群ID，详情请参见 查看集群列表与详情。已创建AccessKey，详情请参见 获取AccessKey。已获取相应的SDK，Java SDK请参见...
中文和时间
因此，您需要在代码的开头部分加入字符编码的声明，例如：#-*-coding:utf-8-*-数据类型 Python 2.x支持以下两种数据类型：数据类型 描述 str 字符串。对应Python 3.x中的bytes类型。unicode unicode流。其长度是字符数，如 u'中文' 的长度...
2023年
Github公开事件数据 2023年7月更新记录 时间 特性 类别 描述 产品文档 2023-07-31 新增简单用户画像分析（MaxCompute版）新说明 本文以网站用户画像分析为背景，通过使用DataWorks完成数据采集、数据加工、配置数据质量监控、数据可视化...
EMR Workbench
多语言支持：允许使用Python、SQL等多种语言进行数据分析任务。协同开发：支持多用户同时访问，每个用户的开发环境是独立的，互不影响，实现高效协作。数据处理能力：集成了Apache Spark、Hive、StarRocks等强大的数据处理框架。EMR ...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
使用Notebook开发
本文介绍如何使用DMS Jupyter Notebook进行数据查询和分析。Notebook相当于一个交互式的页面，能够在同一个页面中集成代码、文字和图表，以便于向其他用户传达信息。Notebook界面介绍：保存在Notebook编辑的内容。在当前单元格的上方插入...
Python 2 UDAF
本文为您介绍如何通过Python 2语言编写UDAF。UDAF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDAF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
准备环境
在使用Python SDK收发消息前，您需按照本文提供的内容来准备环境。环境要求 安装Python。更多信息，请参见 安装...安装完成后，您可以执行 python-V 命令查看Python语言版本。安装SDK 执行以下命令，安装Python SDK。pip install mq_http_sdk
镜像管理
内置镜像说明 功能分类 镜像名称 内置三方包及版本信息 编程语言及版本 说明 科学计算 numpy numpy 1.21.6 Python 3.7 数值计算 scipy scipy 1.7.3 Python 3.7 科学计算 数据分析 pandas pandas 1.3.5 Python 3.7 数据处理与分析 统计建模 ...
UDF开发（Python2）
本文为您介绍如何通过Python 2语言编写UDF。UDF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
使用OpenAPI示例
本文介绍如何使用阿里云Python语言SDK开发包，调用 云原生内存数据库Tair 的DescribeInstancesOverview接口（查询实例列表及其基本信息）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要的参数...
Python 2 UDTF
本文为您介绍如何通过Python 2语言编写UDTF。UDTF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDTF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
赋值节点
通过Shell节点分别输出上游赋值语言分别为ODPS SQL（fuzhi_sql）、Python（fuzhi_python）、SHELL（fuzhi_shell）的结果集与结果集中的指定数据。赋值节点（fuzhi_python、fuzhi_sql、fuzhi_shell）：自带输出参数outputs。下游节点（down_...
使用OpenAPI示例
本文介绍如何使用阿里云Python语言和Java语言SDK开发包，调用 云原生多模数据库 Lindorm 的GetInstanceIpWhiteList接口（获取实例的访问白名单）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，便可以实现MaxCompute SQL对其他脚本语言的支持。功能...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，即可实现MaxCompute SQL对其他脚本语言的支持。功能...
基于RDS PostgreSQL构建由LLM驱动的专属ChatBot
本文示例代码使用的Python语言，请确保已具备Python开发环境，本示例使用的Python版本为 3.11.4，使用的开发工具为 PyCharm 2023.1.2。相关概念 嵌入 嵌入（embedding）是指将高维数据映射为低维表示的过程。在机器学习和自然语言处理中，...
基于PolarDB PostgreSQL和LLM构建企业专属Chatbot
本文示例代码使用了Python语言，请确保已具备Python开发环境，本示例使用的Python版本为 3.11.4，使用的开发工具为 PyCharm 2023.1.2。相关概念 嵌入 嵌入（embedding）是指将高维数据映射为低维表示的过程。在机器学习和自然语言处理中，...
（邀测）MaxCompute Notebook使用说明
MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块，为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的...
Python SDK调用示例
本文以Python语言为例，为您介绍如何使用阿里云OpenAPI的SDK开发包。步骤一：查看OpenAPI文档 在调用OpenAPI前，建议您阅读对应接口文档 BindAxb，了解、学习调用该接口所需要的参数及权限等，更多详情请参见 API概览。步骤二：创建RAM用户...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
SDK概述
弹性加速计算实例EAIS提供Python和Java的SDK来方便您通过API创建和管理资源。本文介绍弹性加速计算实例EAIS支持的SDK列表和获取地址。...Python语言的SDK使用示例，请参见 Python示例。Java语言的SDK使用示例，请参见 Java示例。
使用OpenAPI示例（SDK）
本文以Python语言为例，为您介绍如何使用OpenAPI查询数据库文件系统列表的完整示例。查看OpenAPI文档 通过阅读 API概览 得知，查询数据库文件系统列表的OpenAPI为 ListDbfs。请您根据文档，了解调用该接口需要准备的数据和权限。创建RAM...
技术架构
生态工具 PolarDB-X 高度兼容MySQL协议和生态，可支持MySQL开源生态中常用的MySQL驱动（JDBC/ODBC）、多语言兼容（Java/GO/C/C++/Python等）、数据导入导出工具、各种客户端GUI等。PolarDB-X 提供完整的生态工具方案。闭环的生态工具：数据...
- 产品推荐
- 这些文档可能帮助您