通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
使用Python读文件
本文为您介绍基于Dataphin如何通过构建Shell任务调用Python读取第三方文件。前提条件 添加访问地址mirrors.aliyun.com和端口*至项目空间的沙箱白名单，详情请参见 设置白名单。已准备Python支持读取的文件，例如TXT、CSV、XLS、XLSX或PDF等...
使用Python读文件
本文为您介绍基于Dataphin如何通过构建Shell任务调用Python读取第三方文件。前提条件 添加访问地址mirrors.aliyun.com和端口*至项目空间的沙箱白名单，详情请参见 通过客户端、命令行连接RDS MySQL实例。已准备Python支持读取的文件，例如...
pg_stats_ext
视图 pg_stats_ext 提供了访问存储在 pg_statistic_ext 和 pg_statistic_ext_data 目录中的信息的方法。简介 视图 pg_stats_ext 提供了访问存储在 pg_statistic_ext 和 pg_statistic_ext_data 目录中的信息的方法。该视图仅允许访问 pg_...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
创建及管理外部表
外部表是指不存储数据于交互式分析Hologres中的表，仅用于查看外部表的数据。HoloStudio的PG管理模块，支持使用可视化方式创建、查看以及删除外部表。本文为您介绍在HoloStudio中基于PG管理的外部表操作。前提条件 阿里云账号注册，详情请...
创建及管理外部表
外部表是指不存储数据于交互式分析Hologres中的表，仅用于查看外部表的数据。HoloStudio的PG管理模块，支持使用可视化方式创建、查看以及删除外部表。本文为您介绍在HoloStudio中基于PG管理的外部表操作。前提条件 阿里云账号注册，详情请...
PySpark
3.开发主程序 开发一个Spark的Python程序，将测试中的CSV从OSS中读取出来，注册为一个 DataFrame。同时将依赖包中的 tax 方法注册为一个 Spark UDF，然后使用该 UDF 对刚刚生成的 DataFrame 进行计算并打印结果。示例代码如下，您需要在...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
迁移指南
对于分区中有许多文件的大型表，这可能比从Parquet表加载单个分区（使用直接分区路径或WHERE）要快得多，因为在目录中列出文件通常比从事务日志中读取文件列表慢。将现有应用程序移植到Delta Lake时，应避免执行以下操作，这些操作会绕过...
pg_statistic_ext_data
目录 pg_statistic_ext_data 保存在 pg_statistic_ext 中定义的扩展规划器统计信息的数据。该目录的每一行对应用CREATE STATISTICS创建的一个 统计信息对象。如 pg_statistic，pg_statistic_ext_data 不应该被公众读取到，因为其内容可能被...
流表
本文介绍流表的使用方法及示例。概述 流表：流表用于存储随时间发生的事件，仅支持插入数据，不支持更新和删除数据。流表可以被看作为事件的集合，随着时间的推移，事件不断被添加到表中，因此该集合是无边界的。流表支持设置数据过期时间...
配置LogicalTable输入组件
LogicalTable输入组件用于读取Dataphin中逻辑表（事实逻辑表、维度逻辑表、汇总逻辑表）中的数据。同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
过滤器
在服务端对读取结果再进行一次过滤，根据过滤器（Filter）中的条件决定返回的行。使用过滤器后，只返回符合条件的数据行。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建数据表并写入数据。使用方法 在通过GetRow、...
Python 3 UDTF
def process(self,arg):props=arg.split(',')for p in props:self.forward(p)说明 Python 2 UDTF与Python 3 UDTF区别在于底层Python语言版本不一致，请您根据对应版本语言支持的能力编写UDTF。使用限制 Python 3与Python 2不兼容。在您使用...
分区剪裁合理性评估
从执行计划中可见，SQL读取了表的1344个分区，即该表的所有分区。分区剪裁生效 explain select seller_id from xxxxx_trd_slr_ord_1d where ds='20150801';从执行计划中可见，SQL只读取了表的20150801分区。分区剪裁失效的场景分析 自定义...
上传及注册
完成Python程序开发及调试后，您需要将Python程序以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF。本文为您介绍如何完成上传Python程序为MaxCompute资源及注册MaxCompute UDF操作。前提条件 已完成Python程序开发及调试。更...
运行失败
解决方法 对于error example1和error example2：一般是由于在build或seek阶段，MR任务读取输入表中的某一列时失败导致，可能的原因有：该列不存在。该列下存在某行值为null。该列下存在某行值不合法，导致解析错误。一般在build阶段失败...
PAI-TF超参支持
batch_size=10 learning_rate=0.01 TensorFlow Python SDK提供了相应的参数以便获取相应的超参，您可以通过 tf.app.flags.FLAGS 读取所需的超参，再将其传入运行脚本中，即可在模型训练文件中读取到相应的超参定义。具体方法如下：假设上面...
UDF示例：引用表资源
本文以在MaxCompute客户端操作为例，为您介绍如何通过Python UDF引用表资源。...c0|+-+|(4,'c')|(5,'d')|(1,'a')|(2,'b')|NULL|+-+相关文档 基于Java语言实现的读取MaxCompute表资源的示例请参见 Java UDTF读取MaxCompute资源示例。
Python SDK概述
PyODPS是MaxCompute的Python SDK，能够方便地使用Python语言与MaxCompute进行交互和数据处理。通过该SDK，可以更高效地开发MaxCompute任务、进行数据分析和管理MaxCompute资源。本文为您介绍PyODPS的使用和常见方法。PyODPS介绍 PyODPS提供...
透明数据加密概述
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的未知用户将不允许访问明文数据。透明：数据在使用过程中无感知，数据在...
开发UDF
当MaxCompute提供的内建函数无法满足您的业务需求时，您可在MaxCompute Studio中自行开发UDF（自定义函数）以实现业务功能，本文介绍如何使用...相关文档 如果您希望在MaxCompute Studio中使用Python语言进行UDF开发，请参见 开发Python UDF。
离线批量写入数据
表格存储提供了BulkImport接口用于在大数据场景下批量写入数据到数据表。当要写入数据到数据表时，您需要指定完整主键以及要增删改的属性列。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表。具体操作，请...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
BatchGetRow
调用BatchGetRow接口批量读取一个表或多个表中的若干行数据。BatchGetRow操作可视为多个GetRow操作的集合，各个操作独立执行，独立返回结果，独立计算服务能力单元。与执行大量的GetRow操作相比，使用BatchGetRow操作可以有效减少请求的...
共享集群（OSS数据湖加速）
创建一张外部表映射DLF元数据库dlfpro中元数据表dlf_oss_test的数据，该表位于Hologres中的public Schema，并且检验是否存在该外部表，若存在，则对已有表更新。方式一 CREATE FOREIGN TABLE dlf_oss_test_ext(id text,pt text)SERVER dlf_...
Python SDK示例：资源
本文为您介绍Python SDK中操作MaxCompute资源相关的典型场景操作示例。背景信息 MaxCompute中的资源常用在UDF和MapReduce中。基本操作如下：list_resources()：列出该项目空间下的所有资源。exist_resource()：判断资源是否存在。delete_...
操作汇总
本文介绍 表格存储 的调用说明以及提供的宽表模型和时序模型相关API接口。如需了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore入门与实战。调用说明 表格存储 API只能通过 表格存储 提供的各语言SDK进行调用，不能直接使用HTTP...
UDF开发（Python3）
Python 2 UDF迁移 Python 2官方已于2020年初停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDF的MaxCompute项目。建议所有的Python UDF都直接使用Python 3语言编写。存量项目：创建了...
使用paiio读写MaxCompute表数据
为了在 DLC 任务中方便地读写MaxCompute表数据，PAI团队开发了paiio模块。paiio支持TableRecordDataset、TableReader及TableWriter三种接口，本文详细介绍这三种接口的使用说明及读写MaxCompute表数据的使用示例。使用限制 paiio模块支持...
环境变量
'test_env')print(res.data)获取环境变量 resp=client.get_function('test','test_env')env=func['environmentVariables']在代码中使用环境变量 假设配置的环境变量为 {"key":"val"}，以下为各运行环境读取并打印此环境变量值的方法。...
PAI-TF数据IO方式介绍
PAI-TensorFlow支持读取OSS对象存储数据和MaxCompute表数据。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。读取OSS数据 主流程 ...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
PyODPS读取分区表数据
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
使用示例
如果配置好ID和KEY，并且ID和KEY有效，执行$python osscmd gs 2021-07-19 08:11 test-oss-sample Bucket Number is:1 方法2：直接在命令中指定ID和KEY，osscmd从命令行中读取ID和KEY。如果ID和KEY有效，执行后得到以下结果。python osscmd ...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
自定义标量函数（UDSF）
本文为您介绍Python自定义标量函数（UDSF）的开发、注册和使用流程。定义 自定义标量函数（UDSF）将0个、1个或多个标量值映射到一个新的标量值。输入与输出是一对一的关系，即读入一行数据，写出一条输出值。使用限制 由于Flink全托管产品...
CREATE STATISTICS
CREATE STATISTICS 用于创建一个新的扩展统计对象，追踪指定表、外部表或物化视图的数据。简介 CREATE STATISTICS 将创建一个新的扩展统计对象，追踪指定表、外部表或物化视图的数据。该统计对象将在当前数据库中创建，被发出该命令的用户...
- 产品推荐
- 这些文档可能帮助您