函数概览
ST_DistanceSphere 返回两个Geometry对象在球面上的最短距离，单位为米。如果其中一个Geometry对象为Polygon或者LineString类型，计算结果可能存在误差，误差为厘米级别。ST_Length 返回指定Geometry对象二维空间内的长度，单位为degree。...
函数概览
ST_DistanceSphere 返回两个Geometry对象在球面上的最短距离，单位为米。如果其中一个Geometry对象为Polygon或者LineString类型，计算结果可能存在误差，误差为厘米级别。ST_Length 返回指定Geometry对象二维空间内的长度，单位为degree。...
通过ASM实现gRPC链路追踪
除了Java语言的实现，其他语言的通信模型方法都对Headers有感知，因此可以将服务端读取Headers-传递Headers-客户端发送Headers这三个动作有顺序地在4种通信模型方法内部实现。Java语言读取和写入Headers是通过两个拦截器分别实现的，因此...
通过ASM实现gRPC链路追踪
除了Java语言的实现，其他语言的通信模型方法都对Headers有感知，因此可以将服务端读取Headers-传递Headers-客户端发送Headers这三个动作有顺序地在4种通信模型方法内部实现。Java语言读取和写入Headers是通过两个拦截器分别实现的，因此...
多语言API访问
说明 一些语言提供了管理依赖的方法，可以遵循这些语言的使用习惯来安装thrift，如Python语言可以通过 pip install thrift 来安装，Go语言可以直接在代码里 import {"github.com/apache/thrift/lib/go/thrift"} 。下载 HBase Thrift2定义...
使用拆分字段
如果确实找不到合适的业务逻辑主体作为拆分字段，那么可以考虑下面的方法来选择拆分字段：根据数据分布和访问的均衡度来考虑拆分字段，尽量将数据表中的数据相对均匀地分布在不同的物理分库/分表中，适用于大量分析型查询的应用场景（查询...
简介
日志服务支持将日志投递到SIEM，以确保阿里云上的所有法规、审计与其他相关日志能够导入到您的安全运维中心（SOC）中。名词解释 SIEM：安全信息与事件管理系统（Security Information and Event Management），如Splunk，IBM QRadar等。...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
Python 3 UDAF
实现Python类的方法：必选。Python类实现包含如下4个方法，您可以根据实际需要进行选择。方法定义 描述 BaseUDAF.new_buffer()返回聚合函数的中间值的buffer。buffer 必须是 Marshal 对象（例如LIST、DICT），并且 buffer 的大小不应该随...
开发PyODPS 2任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
开发PyODPS 3任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
开发PyODPS 3任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
开发PyODPS 2任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
影响查询性能的因素
如果数据能够均匀分布在存储节点上，那么 AnalyticDB MySQL版 中的多个子任务在处理数据时，就能几乎同时结束任务，实现理想的查询处理；如果数据分布不均匀，那么子任务在处理数据时会存在时间上的长尾，从而影响最终的查询效果。数据量...
Stage级别诊断结果
对于Join条件存在数据倾斜的场景，如果不广播小表，那么会出现如下图的执行流程：假设上图中的表 Tsmall 在 b 字段上存在严重数据倾斜，那么当表 Tbig 以 a 字段均匀地分布在 AnalyticDB MySQL版 的存储节点上时，对 Tbig 表的重分布会存在...
实现ECI Pod可用区打散或亲和调度
在ACK Pro版集群或 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署...
库表
AnalyticDB MySQL 是分布式数据库，数据需要根据分布字段均匀地分布在各个后台节点才能保证尽可能高的利用资源。分布字段选择不合理，会导致写入时存在热点，降低写入性能。分区字段合理性。AnalyticDB MySQL 后台以分区为粒度进行数据存储...
Python 2 UDAF
MaxCompute使用的Python 2版本为2.7。本文为您介绍如何通过Python 2语言编写UDAF。UDAF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDAF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 ...
在ASM中实现分布式跟踪
服务网格 ASM集成了阿里云可观测链路OpenTelemetry版，为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等能力，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，提升开发诊断效率。...
链路追踪
背景信息 阿里云链路追踪服务（Tracing Analysis）基于 OpenTracing 标准，兼容开源社区，为分布式应用的开发者提供了完整地分布式调用链查询和诊断、分布式拓扑动态发现、应用性能实时汇总等功能。函数计算与链路追踪集成后，支持使用 ...
在ASM中实现分布式跟踪
服务网格 ASM集成了阿里云可观测链路OpenTelemetry版，为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等能力，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，提升开发诊断效率。...
表分布定义
建表语句 CREATE TABLE 支持如下三个分布策略的子句：分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...
数据探索函数
数据探索函数得到样本数据的趋势、极大值、中心值，检验数据是否符合正态分布、均匀分布或指数分布。函数 说明 均匀分布或指数分布的检验函数 检验数据分布是否满足均匀分布或指数分布。正态分布检验函数 检验数据分布是否满足正态分布。...
通过SkyWalking上报Python应用数据
通过SkyWalking为应用埋点并上报链路数据至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以查看应用拓扑、调用链路、异常事务、慢事务和SQL分析等一系列监控数据。本文介绍如何使用SkyWalking ...
通过SkyWalking上报Python应用数据
通过SkyWalking为应用埋点并上报链路数据至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以查看应用拓扑、调用链路、异常事务、慢事务和SQL分析等一系列监控数据。本文介绍如何使用SkyWalking ...
数据倾斜诊断
恰当的分布键 上图示例中，选择了主键id为分布键，数据均匀地分布到了四个计算节点上。不恰当的分布键 上图示例中，选择了gender字段作为分布键，由于gender字段只有true和false两个值，导致仅有两个计算节点上有数据，其他节点没有数据，...
Paho-MQTT Python接入示例
本文介绍如何调用Python语言的Paho MQTT类库，将设备接入阿里云物联网平台并进行消息收发。前提条件 已在 物联网平台控制台，对应实例下，创建产品和设备，并获取 MQTT接入域名和 设备证书信息（ProductKey、DeviceName和DeviceSecret）。...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
使用访问凭证访问阿里云OpenAPI最佳实践
本文为您介绍如何在不同的场景中，实现以非AccessKey硬编码的方式编程，使用访问凭证访问阿里云OpenAPI。背景信息 AccessKey（简称AK）是阿里云提供给阿里云用户的访问密钥，用于访问阿里云OpenAPI时的身份验证。AccessKey包括AccessKey ID...
HBase Thrift Server
负载均衡 EMR HBase集群在高可用模式下，会在3个主节点启动Thrift Server服务，您可以根据需要实现自己的负载均衡策略，以将请求相对均衡的分配到3个Thrift Server服务上。示例 以下以Python为例，说明如何使用Python编程来访问EMR HBase...
UDF开发（Python3）
Python 2 UDF迁移 Python 2官方已于2020年初停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDF的MaxCompute项目。建议所有的Python UDF都直接使用Python 3语言编写。存量项目：创建了...
通过LOCALITY指定存储位置（DRDS模式）
PolarDB-X 支持通过LOCALITY关键字来指定数据库或单表的存储位置，以实现数据隔离或数据的均匀分布。本文介绍了DRDS模式数据库中使用LOCALITY的方法。本语法仅适用于DRDS模式数据库。前提条件 实例版本需为5.4.10或以上。关于如何查看实例...
Python 3 UDTF
实现Python类的方法：必选。Python类实现包含如下4个方法，您可以根据实际需要进行选择。方法定义 描述 BaseUDTF.init()初始化方法。派生类如果需要实现此方法，必须在一开始调用基类的初始化方法 super(BaseUDTF,self).init()。init 方法...
编写iOS测试脚本
本文介绍如何使用Appium对iOS 10设备进行功能测试的方法。重要 移动测试平台目前可支持pytest、unittest和robotframework等三方库。如需其他支持，请联系 技术支持。前提条件 了解使用Appium进行自动化测试的方法。具体说明请参见 Appium...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
分布式线性扩展
以下图为例，shop库中的orders表根据每行数据的ID属性进行哈希，被分区水平切分成orders_00～orders_11共计12个分区，均匀分布在4个数据节点上。PolarDB-X 的分布式SQL层将会自动完成查询路由、结果合并等。扩容迁移 随着业务的增长，数据...
UDF示例：获取URL中指定位置的字符
本文为您介绍如何分别通过Java UDF和Python UDF实现获取URL中指定位置的字符。命令说明 本示例将注册一个名称为 UDF_GET_URL_CHAR 的自定义函数，下面对命令格式和入参进行说明。string UDF_GET_URL_CHAR(string,bigint<n>)函数功能：该...
开源支持
使用Mars进行科学计算，不仅使大规模科学计算任务的实现从MapReduce上的数千行代码降低到Mars上的数行代码，更在性能上有大幅提升。Mars已经在Github上开源代码，您可以一起参与共建Mars。详情请参见GitHub开源代码 Mars。关于Mars的更多...
- 产品推荐
- 这些文档可能帮助您