列存索引中TopK算子的实现
对于任意一个Barrier，如果类型A中的数据量>TopK查询中的offset+limit，那么类型C中的数据必然排在第[offset+limit,N)位，类型C中的sorted run可以不参与后续的merge。根据上述原理，使用统计信息进行pruning的具体流程如下：构建包含...
Tomcat 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Tomcat 连接池、OceanBase Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 tomcat-mysql-client 示例工程 前提条件 您已安装 OceanBase...
创建数据库和集合并写入数据
写入两组数据 {"name":"test"} 和 {"count":"10"} 至mongo集合，命令如下：db.runCommand({insert:"mongo",documents:[{"name":"test"},{"count":"10"}]})查询mongo集合中的数据，命令如下：db.getCollection("mongo").find({})返回结果...
创建数据库和集合并写入数据
写入两组数据 {"name":"test"} 和 {"count":"10"} 至mongo集合，命令如下：db.runCommand({insert:"mongo",documents:[{"name":"test"},{"count":"10"}]})查询mongo集合中的数据，命令如下：db.getCollection("mongo").find({})返回结果...
创建数据库和集合并写入数据
写入两组数据 {"name":"test"} 和 {"count":"10"} 至mongo集合，命令如下：db.runCommand({insert:"mongo",documents:[{"name":"test"},{"count":"10"}]})查询mongo集合中的数据，命令如下：db.getCollection("mongo").find({})返回结果...
设置列索引的排序键
CREATE TABLE customer(c_custkey BIGINT NOT NULL,c_name VARCHAR(25)NOT NULL,c_address VARCHAR(40)NOT NULL,c_nationkey BIGINT NOT NULL,c_phone CHAR(15)NOT NULL,c_acctbal DECIMAL(15,2)NOT NULL,c_mktsegment CHAR(10)NOT NULL,c_...
库表数太多导致实例卡顿或异常
整合多表数据 将多个集合中的数据整合到单个集合中以减少集合数量。例如，数据库中有一个 temperatures 库，用来存储从传感器获得的所有温度数据。传感器从上午10点工作到晚上10点，每半小时读取一次当时的温度数据并存储在数据库中。每一...
管理数据集合
读取数据 以下代码示例展示了适用于不同场景的数据读取方法：从集合中读取所有数据。例如，查询所有图片：mpserverless.db.collection('images').find();根据查询条件从集合中读取指定数据。例如，查询特定用户添加的图片：mpserverless.db...
UDF开发（Python2）
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。引用表资源示例如下。from odps.udf import annotate from odps.distcache import get_cache_table@annotate('->string')class ...
通过 HyperLoglog 实现高性能多维数据透视
本文通过电商类数据透视示例，介绍了使用 AnalyticDB PostgreSQL 通过HLL预计算，实现毫秒级多维数据透视的方法。关于HyperLogLog的用法，请参考 使用HLL。实践总结 本文介绍的操作方法，涉及以下最佳实践。如您已了解操作方法，可以直接...
列存索引如何实现高效数据过滤
Bloom filter是具有空间效率的表示方法，可以快速确定一个元素在不在集合中，但它们可能会产生误报（false positives）-查询一个不在集合中的元素可能会错误地指示它在集合中。Bloom filter的优点是高效、空间效率高、可扩展性强和误判率可...
PolarDB HTAP实时数据分析技术解密
Plan转换的方法简单，只需要遍历执行计划树，将MySQL优化后的AST转换成IMCI中以relation operator为节点的树状结构即可。在这个过程中，会做一部分额外的动作。例如，类型的隐式转换。兼顾行列混合执行的优化器 存在行存和列存两套执行引擎...
如何清理孤立文档
如需清理数据库中多个集合的孤立文档，您可以修改 fullCollectionName 参数并多次执行，也可以自行修改脚本通过遍历的方式执行。function cleanupOrphanedOnShard(shardName,fullCollectionName){ var nextKey={ };var result;while...
页面编排设计器内节点说明
循环中对 a 变量的操作，则在遍历循环节点内以通过节点编排的形式实现。集合变量需要从页面现存变量中选取，条目变量由于只存在于循环内部，只需要设定一个与循环内变量编码不重复的编码，即可创建以该编码为标识的循环内变量。以 aList 和...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
数据同步
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
mysqlclient 连接 OceanBase 数据库
本文将介绍如何使用 mysqlclient 和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 python-mysqlclient 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase 数据库并且创建了 ...
热点行优化
减少B-tree索引的遍历 MySQL是以B-tree索引的方式管理数据的，每次执行查询时，都需要遍历索引才能定位到目标数据行，数据表越大，索引层级越多，遍历时间就越长。在前面提到的对更新操作进行分组的机制中，只有每组的Leader遍历索引定位...
云数据库查询优化
若范围过滤包含多个字段，则优先将基数值（集合中字段不同值的数量）少的字段放到前面。说明 如果您的集合上有多条索引，尤其是您的查询语句较复杂时，MongoDB不一定能为您选择正确的索引，建议您在查询语句中指定此次查询过程中使用的索引...
特殊用法
4 NOTICE:err_code:23505 NOTICE:err_msg:duplicate key value violates unique constraint"test_unique_pkey"NOTICE:DO-SELECT 的输出 id-1 2 3(3 rows)说明 当使用 FORALL 或 FOR 语句进行循环遍历集合变量时，需要考虑集合变量中是否...
C3P0 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 C3P0 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 c3p0-mysql-jdbc 示例工程 前提条件 您已安装 OceanBase 数据库...
Commons Pool 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Commons Pool、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 commonpool-mysql-client 示例工程 前提条件...
云数据库MongoDB版（分片集群架构）同步至云数据库...
如需清理数据库中多个集合的孤立文档，您可以修改 fullCollectionName 参数并多次执行，也可以自行修改脚本通过遍历的方式执行。function cleanupOrphanedOnShard(shardName,fullCollectionName){ var nextKey={ };var result;while...
云数据库MongoDB版（分片集群架构）同步至云数据库...
如需清理数据库中多个集合的孤立文档，您可以修改 fullCollectionName 参数并多次执行，也可以自行修改脚本通过遍历的方式执行。function cleanupOrphanedOnShard(shardName,fullCollectionName){ var nextKey={ };var result;while...
Python SDK示例：Table
t=odps.get_table('table_name')t.schema odps.Schema { c_int_a bigint c_int_b bigint c_double_a double c_double_b double c_string_a string c_string_b string c_bool_a boolean c_bool_b boolean c_datetime_a datetime c_datetime_...
设置数据分片以充分利用Shard性能
您可以对分片集群实例中的集合设置数据分片，以充分利用Shard节点的存储空间和计算性能。背景信息 如果没有对集合设置数据分片，数据将被集中存放在一个Shard节点中，这将导致其他Shard节点的存储空间和计算性能无法被充分利用。前提条件 ...
专业术语
series（序列）TSDB For InfluxDB®数据结构中，有相同measurement、tag set和保留策略（retention policy）的数据集合。说明 field set不会标识序列的一部分。相关术语：field set，measurement，retention policy，tag set。series ...
表
PyODPS支持对MaxCompute表的基本操作，包括创建表、创建表的Schema、同步表更新、获取表数据、删除表、表分区操作...获取表数据 获取表数据的方法有多种，常用方法如下：使用入口对象的 read_table()方法。处理一条记录。for record in o.read...
DELETE
使用 DELETE 方法的第一种形式删除集合中的所有条目：collection.DELETE 使用 DELETE 方法的第二种形式从集合中删除指定的条目：collection.DELETE(subscript)使用 DELETE 方法的第三种形式从集合中删除 first_subscript 和 last_subscript...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
服务编排设计器内节点说明
循环中对 a 变量的操作，则在遍历循环节点内以通过节点编排的形式实现。集合变量 需要从流程现存变量中选取，条目变量 由于只存在于循环内部，您只需要设定一个与流程内变量编码不重复的编码，即可创建以该编码为标识的循环内变量。以 ...
Python 3 UDAF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。具体使用方法请参见 引用资源（Python UDF 3）和 引用资源（Python UDTF 3）。使用说明 按照 开发流程，完成Python 3 UDAF开发后，...
Python 2 UDAF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。具体使用方法请参见 引用资源（Python UDF 2）和 引用资源（Python UDTF 2）。使用说明 按照 开发流程，完成Python 2 UDAF开发后，...
Python 2 UDTF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。引用文件资源和表资源的代码示例如下。coding:utf-8-*-from odps.udf import annotate from odps.udf import BaseUDTF from odps....
UDF开发（Python3）
返回值为Generator类型，调用者通过遍历获取表的内容，每次遍历得到的是以数组形式存在的表中的一条记录。引用表资源示例如下。from odps.udf import annotate from odps.distcache import get_cache_table@annotate('->string')class ...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
- 产品推荐
- 这些文档可能帮助您