DBA_DIRECTORIES
DBA_DIRECTORIES 视图提供有关使用 CREATE DIRECTORY 命令创建的所有字典的信息。名称 类型 说明 owner CHARACTER VARYING(30)字典所有者的用户名。directory_name CHARACTER VARYING(30)分配给字典的别名。directory_path CHARACTER ...
ALL_DIRECTORIES
ALL_DIRECTORIES 视图提供有关使用 CREATE DIRECTORY 命令创建的所有字典的信息。名称 类型 说明 owner CHARACTER VARYING(30)字典所有者的用户名。Directory_name CHARACTER VARYING(30)分配给字典的别名。directory_path CHARACTER ...
查看数据字典详情
通过查看数据字典详情信息，可以查看数据字典的编码、值编码和关联数据元等信息。本文介绍如何查看数据字典详情。前提条件 已存在数据字典，具体操作，请参见 新建数据字典 和 导入数据字典。操作步骤 登录 数据资源平台控制台。在页面左上...
查看数据字典详情
通过查看数据字典详情信息，可以查看数据字典的编码、值编码和关联数据元等信息。本文介绍如何查看数据字典详情。前提条件 已存在数据字典，具体操作，请参见 新建数据字典 和 导入数据字典。操作步骤 登录企业数据智能平台。在页面左上角...
Flink Python参考
使用Python依赖 通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用JAR包 使用数据文件 使用自定义的Python虚拟环境 方式一：在DataFlow集群中的某个节点创建Python虚拟环境 在DataFlow集群的...
物理化数据字典
配置项 说明 目标云计算资源 待存储物理化字典的云计算资源。物理表名 待物理化至云资源中物理表的名称。单击 查看表结构，支持用户查看物理表结构以及包括字段等信息。物理化字典范围 全部字典 默认选择当前已创建的全部字典作为物理化的...
PySpark Python环境介绍
本文以Python3为例，介绍不同Spark版本所对应的Python版本，以及安装Python第三方库的方法。Spark版本与Python版本对应关系 EMR版本 Spark版本 Python版本 Python路径 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本 Spark2 python3.6/bin/...
物理化数据字典
配置项 说明 目标云计算资源 待存储物理化字典的云计算资源。物理表名 待物理化至云资源中物理表的名称。单击 查看表结构，支持用户查看物理表结构以及包括字段等信息。物理化字典范围 全部字典 默认选择当前已创建的全部字典作为物理化的...
osscmd下线说明
osscmd只进行BUG修改，不再支持新功能，如低频存储/归档存储、跨区域复制、镜像回源等。快速使用 对下载的Python SDK压缩包进行解压后，在osscmd所在目录直接执行 python osscmd+操作 即可。比如上传一个文件到Bucket：python osscmd put ...
对象存储OSS使用Python语言实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Python语言实现的示例。说明 建议优先使用OSS提供SDK，本文提供的只是签名...
数据存储需求评估
阿里云存储服务为不同的存储场景提供存储优化方案，并没有一个通用的方案能够适用于所有的存储场景。因此，当您在评估存储需求时，请考虑对不同的业务负载分别选择不同的存储方案。您在每个业务负载中划分数据并确定存储需求时，需要考虑...
Flink Python作业快速入门
单击 上传资源，选择您要上传的Python文件或者提供的Python测试文件。说明 在Python作业中使用其他依赖（例如自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等）的方法请参见 使用Python依赖。步骤三：创建作业 流作业 登录 ...
Python 2 UDAF
MaxCompute使用的Python 2版本为2.7。本文为您介绍如何通过Python 2语言编写UDAF。UDAF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDAF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 ...
配置Python开发环境
PyODPS是MaxCompute的Python SDK，安装的操作详情请参见 安装PyODPS。运行IntelliJ IDEA，在顶部菜单栏上，单击 File>Settings。在 Settings 页面左侧导航栏，单击 MaxCompute Studio。设置 Python path to resolve UDF 为本地Python安装...
Python作业开发
Flink工作空间已预装了Python 3.7.9，且Python环境中已预装了Pandas、NumPy、PyArrow等常用的Python库。因此需要您在Python 3.7及以上版本开发代码。Flink运行环境使用的是JDK1.8，如果Python作业中依赖第三方JAR包，请确保JAR包兼容JDK1.8...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2.7任务。2.9.3版本后，...
使用Python依赖
背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用JAR包 使用数据文件 使用自定义的Python虚拟环境 说明 VVR 4.x仅支持3.7版本的Python虚拟环境，VVR 6.x及以上的版本无此限制，...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
Python SDK
本文介绍如何安装城市视觉智能引擎Python SDK并开始调用。同时您必须安装阿里云Python SDK核心库。在线调试和生成SDK示例 OpenAPI Explorer 提供在线调用城市视觉智能引擎API、动态生成 SDK示例代码和快速检索接口等功能，能显著降低使用...
持续的存储优化
维护一个规模适中且价格合理的存储架构是一个持续的过程。为了更有效地利用存储支出，您每个月都应该进行存储优化工作。您可以通过以下方式简化这项工作：建立用于优化存储和设置存储策略的持续机制。通过监控服务和账单密切监控存储成本。...
UDF开发（Python2）
MaxCompute使用的Python 2版本为2.7。本文为您介绍如何通过Python 2语言编写UDF。UDF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-...
哪些是常用的资源包
存储包 根据文件的不同存储类型，OSS对存储在Bucket中的文件收取对应的存储容量费用，您可以购买不同的存储包用于抵扣对应的存储容量费用。关于OSS支持的存储包类型及抵扣说明，请参见 存储费用。下行流量包 当您通过公网访问或者下载...
字段值映射处理
映射字典最大大小 映射字典的最大大小。默认值为1000，即最多可存储1000条映射规则。如果要限制插件对服务器内存的占用，可调小该值。原日志处理方法 当映射后的字段在原始日志中已存在时的处理方式。overwrite（默认值）：覆写原字段。...
Python SDK
云网管Python SDK支持Python3.6及以上的Python运行环境，您可以执行python-version命令检查您已安装的Python版本。如果未安装，可以从 Python官方网站 下载安装包并完成安装。SDK安装 使用pip安装云网管Python SDK，如未安装pip请参考：...
赋值节点
赋值节点的Python赋值语言使用的Python版本为Python 2.0。赋值节点代码中不支持添加注释，添加注释可能导致运行结果有误。赋值节点版本及赋值参数说明 部分节点可通过节点上下文中的赋值参数，达到与赋值节点相同的目的（例如，EMR Hive、...
上传到OSS的文件存储类型为归档存储无法下载文件
问题原因 OSS文件上传时会继承Bucket的存储类型，因此上传到OSS的文件存储类型为归档存储的原因如下：Bucket的存储类型为标准存储，但是需要下载的文件为归档存储，则说明上传文件时的代码中设置的存储类型为归档存储。Bucket的存储类型为...
云存储网关提供哪些服务
本文简要介绍云存储网关服务。云存储网关是一款可以将本地应用程序、基础设施、...通过可在本地数据中心和阿里云部署的兼容行业标准存储协议的虚拟设备，将现有的存储应用程序和工作负载连接阿里云存储服务，无缝对接阿里云的存储和计算服务。
ossftp概述
ossftp是一个特殊的FTP server，可以将对文件、文件夹的操作映射为对OSS的操作，使您可以基于FTP协议来管理存储在OSS上的文件。使用限制 ossftp主要提供给个人测试时使用，生产环境建议使用 OSS管理控制台、ossutil、ossbrowser、SDK 等...
自定义标量函数（UDSF）
在PyCharm中，单击 file>open，打开刚才解压缩完成的 python_demo-master。双击打开 \python_demo-master\udx\udfs.py 后，根据您的业务，修改 udfs.py。该示例中，sub_string 定义了获取每条数据中从begin~end位的字符的代码。from ...
Python语言迁移
Python是一种解释型脚本语言，Python代码与平台无关，各大操作系统都已经支持了ARM平台的Python。在ARM平台可以直接使用Python，应用代码无需编译，可直接运行。以Alibaba Cloud Linux 3为例，可以使用yum命令进行安装。sudo yum install ...
Python 2 UDTF
MaxCompute使用的Python 2版本为2.7。本文为您介绍如何通过Python 2语言编写UDTF。UDTF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDTF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 ...
使用Python操作OSS时出现“No module named oss2”...
问题原因 系统环境中没有安装OSS的Python SDK和oss2模块。解决方案 以Linux系统为例，在脚本文件的环境中，执行以下命令，安装python-devel开发包。sudo yum install-y python-devel 依次执行以下命令，安装oss2模块。sudo yum install-y ...
概述
企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客文章，大约有7％的云上支出浪费在未使用的存储卷和旧快照（存储卷的副本）上。阿里云...
使用Python SDK的SelectObject查询CSV和JSON文件
您可以在OSS控制台上查看上传后的python_select.csv及python_select.json文件。CSV及JSON的示例输出结果如下所示。常见SQL语句 常见的SQL应用场景及对应的SQL语句如下表所示：应用场景 SQL语句 返回前10行数据 select*from ossobject limit...
管理和使用保密字典（K8s Secret）
保密字典（K8s Secret）是一种用于存储和管理密钥、证书等敏感信息的资源类型。为避免敏感数据暴露到镜像或应用 与任务 的部署参数中，推荐您使用 SAE 命名空间级别的保密字典。配置保密字典后，您可以在创建或部署时，通过镜像将配置信息...
存储包（不支持新购）
存储包是一种预付费的计费方式，只能抵扣已绑定存储包的文件系统的存储容量。本文主要介绍如何升级和续费通用型NAS存储包。说明 文件存储NAS新推出 NAS资源包 后，存储包不再支持新购，但仍然支持续费和升级。相比于存储包，资源包无需绑定...
作业配置指南
file Python/Java/Scala应用必填"file":"oss:/bucket/path/to/your/jar"Spark任务主文件的存储位置，可以是入口类所在的JAR包或者Python的入口执行文件。说明 Spark任务主文件目前只支持存储在OSS中。className Java/Scala应用必填...
Python库管理
文件路径 选择待加载的Python Egg或Python Whl的文件。单击 确定。库 页面展示所有用户在所有集群上使用过的库信息。查看库详情 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）...
- 产品推荐
- 这些文档可能帮助您