术语表
DRDS模式数据库 创建数据库时指定 Mode=DRDS 的数据库，此类数据库中使用的DDL语法是PolarDB-X 1.0（DRDS）的分库分表语法。AUTO模式数据库 创建数据库时指定 Mode=AUTO 的数据库，此类数据库中手动指定分区键、分区算法时，使用的DDL语法...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
接入 Web
dialogue.css getMediaInfo.js jquery.min.js（https://gw.alipayobjects.com/os/lib/jquery/3.5.1/dist/jquery.min.js）iconfont.js eruda.js Demo 相关依赖在实际使用时无需引入。添加如下代码，实例化 SDK。let test_controller=new ...
DSW连接EMR集群
集群中Executor使用的Python环境中没有安装PySpark应用中依赖的包，推荐使用spark.archives配置将本地Python环境同步到远端，或者手动在集群每个Worker节点安装相关依赖。创建PySpark内核并初始化完成后，新建Notebook时，下拉列表里没有...
Python使用说明
E-MapReduce使用的Python 3版本为Python 3.6.4。支持Python 3.6.4 EMR-2.10.0及后续版本和EMR-3.10.0及后续版本，支持Python 3.6.4。Python文件安装目录为/usr/bin/python3.6。EMR-2.10.0和EMR-3.10.0之前版本默认不支持Python 3版本，您...
RDS PostgreSQL间的双向同步
如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
Flink Python参考
使用Python依赖 通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用JAR包 使用数据文件 使用自定义的Python虚拟环境 方式一：在DataFlow集群中的某个节点创建Python虚拟环境 在DataFlow集群的...
配置Python开发环境
MaxCompute Studio支持您在IntelliJ IDEA中完成Python开发，例如UDF和PyODPS脚本。本文为您介绍如何配置Python开发环境。安装PyODPS 您需要在本地安装PyODPS。PyODPS是MaxCompute的Python SDK，安装的操作详情请参见 安装PyODPS。运行...
常见报错
说明 若在本文中未找到您遇到的异常或报错，或按照文中修复建议仍未解决您的问题，请到 DBS客户咨询群（钉钉群号：35585947）进行咨询。报错概览 配置备份计划时常见报错 源库测试连接失败 备份恢复预检查时常见报错 源库连接性检查失败 ...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
恢复PolarDB分布式版数据库
已选择的恢复时间点 选择恢复数据库的时间点，设置时间必须在 可恢复的时间范围 内，可选时间点为全量备份完成的时间。恢复目标数据库 数据库所在位置 选择 PolarDB。实例地区 选择目标实例的所在地域。数据库类型 选择 PolarDB PostgreSQL...
其他子产品SDK参考文档
AIGC文生图模型微调及WebUI部署 介绍如何在 DSW 中，使用Python SDK基于AIGC Stable Diffusion文生图Lora模型进行模型微调实现虚拟上装。EAS SDK文档入口链接 使用C或C++开发自定义Processor 通过使用示例来介绍如何使用C或C++开发自定义...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
Dataphin中创建python自定义函数方法
产品名称 Dataphin 产品模块 自定义函数 概述 描述如何创建python自定义函数。问题描述 请问在Dataphin中如何创建python自定义函数？问题原因 NA 解决方案 第一步：创建...第四步：即席查询中使用python自定义函数。更多信息 NA 相关文档 NA
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
数据库变更管理
背景信息 ODC 支持对数据库中的数据进行变更。用户可以通过数据库变更任务运行耗时较高的 SQL 语句以避免语句执行超时。注意事项 只支持对 UPDATE 和 DELETE 变更语句自动生成回滚语句。支持的变更影响行数上限为 100W，超过则不支持自动...
Python脚本示例
本文介绍Python语言的自定义Topic消息解析脚本模板和示例。脚本模板 SELF_DEFINE_TOPIC_UPDATE_FLAG='/user/update'#自定义Topic：/user/update。SELF_DEFINE_TOPIC_ERROR_FLAG='/user/update/error'#自定义Topic：/user/update/error。将...
空间分析
通过空间分析功能，您可以直观地查看数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，帮助您及时发现数据库中的空间异常，避免影响数据库的稳定性。前提条件 RDS MySQL实例为高...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
Python
前提条件 确保本地已部署 Python 语言运行环境。Python 3.x 连接 OceanBase 数据库 Python 3.x 需要 PyMySQL 驱动进行 OceanBase 数据库连接及使用。步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$...
Dataphin中Python脚本如何使用本地csv文件
概述 本文为您介绍Dataphin中Python脚本如何使用本地的文件。详细信息 1.在dataphin中先通过资源管理模块上传本地文件。2.点击上传文件的详细信息，复制引用路径。3.在Python脚本中声明该文件，即可引用。适用于 Dataphin
Redis实例间的单向数据同步
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以Redis实例间的单向数据同步为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿变更源...
安装
安装SDK 操作命令，示例如下：pip install aliyun-python-sdk-core pip install aliyun-python-sdk-vod 说明 如果使用的是Python 3.x，请将 pip install aliyun-python-sdk-core 修改为 pip install aliyun-python-sdk-core-v3。...
从ECS上的自建Redis同步至Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
从自建Redis集群同步至Redis集群实例
如果源库中的某些Key使用了过期（expire）策略，由于可能存在Key已过期但未被及时删除的情况，所以在目标库中查看到的Key数量（例如通过info命令查看）会比源库的Key数量少。说明 源和目标库中，未设置过期策略或未过期的Key数量是一致的。...
未来规划
数据库的未来发展趋势可以总结为以下四点：产品架构与技术创新：云原生+分布式（弹性、高可用）。架构上分布式共享存储、存储计算分离，云原生架构+Shared Nothing分布式架构，满足弹性、高可用、水平拓展的能力。数据挑战：多模，结构化与...
Redis企业版实例间的双向同步
如果源库中的某些Key使用了过期（expire）策略，由于可能存在Key已过期但未被及时删除的情况，所以在目标库中查看到的Key数量（例如通过info命令查看）会比源库的Key数量少。说明 源和目标库中，未设置过期策略或未过期的Key数量是一致的。...
空间分析
数据空间 查看该实例每个数据库的空间使用情况，以及数据库中表空间的使用情况。单击表名可查看对应表的 字段 和 索引。回收空间碎片 重要 仅支持Hidden节点回收空间碎片，如果需要回收Primary和Secondary节点的碎片，可以先进行 主备切换...
Commons Pool 连接 OceanBase 数据库示例程序
代码如下：<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.40</version></dependency>添加 commons-pool2 依赖库，以便在项目中能够使用该库的功能和类：通过指定依赖项所属的组织为 org...
中文和时间
本文介绍使用Python SDK时所用到的中文和时间知识。中文 在Python代码中如果使用了中文字符，运行时会出错。因此，您需要在代码的开头部分加入字符编码的声明，例如：#-*-coding:utf-8-*-数据类型 Python 2.x支持以下两种数据类型：数据...
安装Python SDK
本文介绍如何安装函数计算Python SDK。环境准备 安装Python 2.7或Python 3.6版本。更多信息，请参见 Python。说明 Python自带pip插件，无需再安装pip插件。成功安装后，执行 python-V 查看Python版本。安装SDK 本文以Linux为例，通过以下两...
准备环境
在使用Python SDK收发消息前，您需按照本文提供的内容来准备环境。环境要求 安装Python。更多信息，请参见 安装Python。安装的Python版本要求如下：若您使用的SDK版本为v1.0.0，您需要安装大于等于2.5且小于3.0版本的Python。若您使用的SDK...
迁移MongoDB实例至其他地域
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现全量数据迁移和增量数据迁移MongoDB副本集实例至其他地域，全量数据迁移MongoDB单节点实例至其他地域。前提条件 源实例类型为单节点实例或副本集实例。如果源实例为分...
RDS实例间数据迁移
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。说明 在使用DTS前，请确保DTS有访问云资源的权限，详情请参见 授予DTS访问云资源的权限。前提条件 ...
跨阿里云账号迁移MongoDB实例
DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移。前提条件 源实例类型为单节点实例或副本集实例。如果源实例为分片集群实例，请使用MongoDB自带的工具进行迁移，详细信息，...
企业版和标准版功能对比
支持 支持 空间分析 PolarDB MySQL版 的一键诊断融合了DAS部分功能，您可以通过空间分析，来查看目标集群的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等。支持 支持 锁分析 PolarDB ...
Serverless 实例概述
适用场景 Serverless 实例的适用场景如下：中小规模用户的企业级数据库使用场景 开发、测试环境等低频数据库使用场景 中小企业建站服务等SaaS应用场景 学校教学、学生实验等教育场景 业务有波动或不可预测的用户 使用限制 OceanBase 数据库...
如何选择备份方式
数据库备份DBS 支持逻辑备份和物理备份两种备份方式，为数据库提供连续数据保护、低成本的备份服务，您可以在评估业务后选择最符合您需求的备份方式。逻辑备份与物理备份的区别 参照项 逻辑备份 物理备份 概念 数据库对象级备份，备份内容...
导出开源引擎任务
使用导出工具，在内存中通过Airflow的Python库读取Dag Python文件的内部任务信息及其依赖关系，将生成的Dag信息写入JSON文件进行导出。您可进入DataWorks的 迁移助手>任务上云>调度引擎作业导出 页面，下载导出工具。进入 调度引擎作业导出...
- 产品推荐
- 这些文档可能帮助您