区域翻牌器（v3.0及以上版本）
说明 该配置项为一个数组，可配置多个系列，编辑器将遍历数据，使数据通过一个或多个系列配置循环渲染。若需要自定义某些数据为特定样式，则需要手动对数据进行排序。系列名：数据系列的命名，可自定义。字段为空时，系统会将组件数据中的 ...
轮播列表
说明 该配置项为一个数组，可配置多个自定义列，编辑器会遍历数据，使数据通过一个或多个自定义列配置循环渲染。若需要自定义某些数据为特定样式，则需要手动对数据进行排序。参数 说明 列字段名 自定义列所对应的字段名，需要与数据中的...
DataFrame概述
PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。同时能在本地使用同样的接口，用Pandas进行计算。...您可以参见 Python数据处理库pandas入门教程 了解Python数据处理库Pandas的更多信息。
JOIN优化和执行
它的原理如下：遍历外表（左表，通常是数据量较小的一边）数据，对于外表中的每批（例如1000行）数据。将这一批数据的JOIN Key拼成一个IN(.)条件，加到内表的查询中。执行内表查询，得到JOIN匹配的行。借助哈希表，为外表的每行找到匹配的...
配置for-each节点
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文以一个具体示例，通过for-each节点2次循环遍历赋值节点输出结果，并在每次循环...
告警规则指标说明
指标维度 节点机IP，筛选条件如下：遍历：遍历每个节点机IP，针对每台节点机的指标数据单独进行监控告警。指定筛选固定的几台节点机进行监控告警。示例：=172.20.XX.XX。无维度：汇总所有节点机的指标数据，针对所有节点机的指标数据进行...
热点行优化
减少B-tree索引的遍历 MySQL是以B-tree索引的方式管理数据的，每次执行查询时，都需要遍历索引才能定位到目标数据行，数据表越大，索引层级越多，遍历时间就越长。在前面提到的对更新操作进行分组的机制中，只有每组的Leader遍历索引定位...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
如何清理孤立文档
如果 MongoDB 分片集群版实例中存在孤立文档，您在进行数据迁移或释放Shard节点任务时，可能会出现影响实例性能或产生报错等问题。因此，您在进行上述操作前需要先检查实例内是否存在孤立文档并对孤立文档进行清理。前提条件 服务器已安装...
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
使用DTS迁移Redis
全量迁移：使用SCAN命令遍历整个源端，将遍历到的数据写入到目标端。为保障数据一致性，请勿在迁移期间对源实例写入新的数据。目标已存在表的处理模式 预检查并报错拦截（默认）：检查目标库中是否存在数据（Key）。若存在，则在预检查阶段...
从自建Redis迁移至阿里云Redis
全量迁移：使用SCAN命令遍历整个源端，将遍历到的数据写入到目标端。迁移期间会对源端性能有一定影响，且无法保证数据一致性。全量迁移+增量迁移：使用Redis原生同步逻辑，以内存快照方式将数据写入到目标端，实现源库不停机的迁移。重要 ...
镜像管理
内置镜像说明 功能分类 镜像名称 内置三方包及版本信息 编程语言及版本 说明 科学计算 numpy numpy 1.21.6 Python 3.7 数值计算 scipy scipy 1.7.3 Python 3.7 科学计算 数据分析 pandas pandas 1.3.5 Python 3.7 数据处理与分析 统计建模 ...
for-each节点逻辑原理介绍
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文为您介绍for-each节点的组成与应用逻辑。使用说明 您可通过以下内容了解遍历...
连接方式概述
本节主要介绍 连接和访问 OceanBase 数据库 MySQL 模式租户的方法。当前主要支持通过客户端、驱动或 ORM 框架连接到 OceanBase 数据库。客户端 在连接 OceanBase 数据库的 MySQL 租户时，支持的客户端如下：MySQL 客户端 MySQL 数据库的...
统计信息收集
优化器有可能会生成执行效率很差的执行计划，例如，对于一个具有索引且行数很多的数据表来说，以索引列为where条件对数据表进行点查，如果统计信息失效，那么优化器可能不会使用索引对数据表进行查询，而是使用遍历的方式对数据表进行查询...
Python
前提条件 确保本地已部署 Python 语言运行环境。Python 3.x 连接 OceanBase 数据库 Python 3.x 需要 PyMySQL 驱动进行 OceanBase 数据库连接及使用。步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$...
概述
对于Pandas自定义函数，输入数据的类型是Pandas中定义的数据结构，例如pandas.Series和pandas.DataFrame等，您可以在Pandas自定义函数中使用Pandas和Numpy等高性能的Python库，开发出高性能的Python自定义函数，详情请参见 Vectorized User...
路由算法
说明 若未配置路由算法，则在对逻辑表的数据进行操作时，会遍历逻辑表对应的每一个物理表，整体操作时间会成倍增加。路由算法由路由字段+算法组成。使用场景 分表数据查询 分表数据变更 分表数据导出 配置说明 您可通过目标逻辑库找到对应...
数据科学计算概述
支持DataFrame API，提供类似Pandas的接口，能充分利用MaxCompute的计算能力进行DataFrame计算（2016～2022年）：PyODPS DataFrame可以让用户使用Python来进行数据操作，因此用户可以很容易利用Python的语言特性。PyODPS DataFrame提供了很...
内核版本
Gremlin Gremlin是Apache TinkerPop框架下的图查询语言，使用Gremlin可以很方便地对图数据进行查询、修改、遍历和过滤等操作。GDB Gremlin内核版本高度兼容TinkerPop Gremlin查询语言，性能较为优秀。可以高度兼容HugeGraph、JanusGraph、...
2020年
2020-07-29 全部区域 数据类型版本说明 创建MaxCompute项目 Python UDF支持更多数据类型 Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型（ARRAY、MAP和STRUCT）和复杂数据类型嵌套。Python 3 ...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
SDK简介
按应用语言 语言 文档 Java语言 通过OpenTelemetry上报Java应用数据 通过Jaeger上报Java应用数据 通过Zipkin上报Java应用数据 通过SkyWalking上报Java应用数据 Go应用 通过OpenTelemetry上报Go应用数据 Kitex接入可观测链路 OpenTelemetry ...
SDK简介
按应用语言 语言 文档 Java语言 通过OpenTelemetry上报Java应用数据 通过Jaeger上报Java应用数据 通过Zipkin上报Java应用数据 通过SkyWalking上报Java应用数据 Go应用 通过OpenTelemetry上报Go应用数据 Kitex接入可观测链路 OpenTelemetry ...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过Zipkin上报Go应用数据 通过SkyWalking上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
UDF示例：引用表资源
开发代码 Python UDF代码如下，实现遍历引用的表资源（例如udf_test）中的数据，返回数组格式的数据。from odps.udf import annotate from odps.distcache import get_cache_table@annotate('->string')class DistCacheTableExample(object...
Python SDK常见问题
x,df.from_y,df.to_x,df.to_y).rename('distance')distance 0 0.392670 1 0.625334 2 0.193841 3 0.658966 4 0.131577 5 0.537088 6 0.114198 7 0.575175 8 0.702558 9 0.132617 利用Python语言的条件和循环语句。如果用户要计算的表保存在...
开始监控除Java之外的应用
监控多语言应用 语言 文档 Go应用 通过OpenTelemetry上报Go应用数据 Kitex接入可观测链路 OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用...
PyODPS常见问题
x,df.from_y,df.to_x,df.to_y).rename('distance')distance 0 0.392670 1 0.625334 2 0.193841 3 0.658966 4 0.131577 5 0.537088 6 0.114198 7 0.575175 8 0.702558 9 0.132617 利用Python语言的条件和循环语句。如果用户要计算的表保存在...
设置列索引的排序键
总体流程如下：按照主键索引遍历并将读取到的完整数据保存至数据文件，然后将排序列添加到排序缓存区，其中每个线程使用不同的数据文件，累积达到一定数据后再写入；不断遍历并插入到排序缓存区，当排序缓存区满时，在内存中根据排序键组合...
在函数中配置官方公共层
scipy=1.9.0 numpy=1.23.2 README.md Python36-SciPy1x Python 3.6 Custom 一款开源的科学计算库 scipy-1.5.4 numpy-1.19.5 README.md Python39-PyTorch1x Python 3.9 Custom Custom.Debian10 一款开源机器学习框架（CPU版）torch=1.12.1+...
快速上手可观测链路 OpenTelemetry 版
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过Zipkin上报Go应用数据 通过SkyWalking上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
快速上手可观测链路 OpenTelemetry 版
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
新版Memcache如何遍历所有key
在新版本的云数据库Memcache版实例中，您可以使用阿里云自研命令MSCAN遍历所有key。命令结构 MSCAN 命令通过多轮调用、批量查询的方式来获取所有key，查询过程不会阻塞Memcache服务，对性能影响极小。命令的使用说明如下。命令结构 mscan ...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
在函数中配置官方公共层
scipy=1.9.0 numpy=1.23.2 README.md Python36-SciPy1x Python 3.6 Custom 一款开源的科学计算库 scipy-1.5.4 numpy-1.19.5 README.md Python39-PyTorch1x Python 3.9 Custom Custom.Debian10 一款开源机器学习框架（CPU版）torch=1.12.1+...
使用Python访问Hologres
cur.close()conn.close()Pandas DataFrame快速写入Hologres最佳实践 使用Python时，经常会使用Pandas将数据转换为DataFrame，并对DataFrame进行处理，最终将DataFrame导入Hologres，此时希望将DataFrame快速导入Hologres。导入时候常用 to_...
在PyODPS节点中调用第三方包
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息，请参见 开发PyODPS 2任务 和 开发PyODPS 3任务。使用限制 在PyODPS节点中调用第...
- 产品推荐
- 这些文档可能帮助您