现代IM系统中的消息系统—模型
极高的写入吞吐：各类场景下的消息系统，除了类似微博、头条这种类型的Feeds流系统，像绝大部分即时通讯或朋友圈这类消息场景，通常是采用写扩散的消息同步模式，写扩散要求底层存储具备极高的写入吞吐能力，以应对消息洪峰。低延迟的读：...
PolarDB处理TPC-H查询的挑战和机遇
或者是在join时只获取join key列，当匹配上时才把其余的列读取出来，由于列数据本身是按照row group来拆分的，每个row group内的一批数据形成一个block，因此可能跳过很多block，避免做IO/decompression的开销。数据访问位置（Data Access ...
服务器无法访问外部网络排查方法
但是如果需要访问国外的网站可能存在无法解析的情况，可以先在命令行中使用nslookup来测试8.8.8.8能否正常解析，如果可以的话，可以把服务器的DNS修改为：8.8.8.8，来实现对国外网站的访问。测试方法如下。nslookup g.cn 8.8.8.8 系统显示...
打通多集群容器网络
说明 某个集群的安全组必须和其他所有集群的安全组打通，若总集群个数为 N，则每个集群的打通条目为 N-1，整体需要做的打通次数是 N*(N-1)。本文以双集群环境为例，打通集群 1 和集群 2 的安全组。操作步骤 登录控制台。在左侧导航栏选择 ...
快速开始
微信分享 您需要手动生成一个特定路径和名称的 Activity 用来接收微信分享的回调事件。这个 Activity 继承自 DefaultWXEntryActivity，路径为 package_name.wxapi.WXEntryActivity。其中，package_name 为应用的包名。说明 路径和 Activity...
4、如何做好迭代排期？
如果你们的团队也有类似的问题，建议在迭代排期的时候，邀请产品经理把下一迭代需要做的需求大致讲一下，让研发团队提前了解并识别风险（如果你们团队没有类似的问题，可以跳过这个环节）。在云效项目协作·Projex 中，下一迭代的需求可以...
政务舆情分析系统的数据库解决方案
结合以上描述可见，全网舆情分析系统的数据链路大致会经过以下几个环节：全新抓取：对于一个舆情系统，首先需要一个爬虫引擎，去采集各大主流门户（购物网站、社区论坛原始页面内容、微博、朋友圈）的各类消息信息，采集到的海量网页消息...
向量索引
1512#0.3,0.4,0.98,0.6&n=200'/query需要做urlencode query=aitheta_index_name:'16%230.1%2c0.2%2c0.98%2c0.6%3b1512%230.3%2c0.4%2c0.98%2c0.6%26n%3d200' 注：区分类目的情况下，参数值中需要指定类目id以及要查询的向量，类目id和向量...
标签对象
用途 标签对象 算子用于从和读数据表算子类似可以作为下游节点输入数据的来源，区别是标签算子的数据表是固定的，一个标签算子会由1到N张表连接而成。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 RDS/MySQL 是 使用...
PolarDB auto_inc场景性能优化之路
阶段3：SMO线程需要等待之前的N个乐观插入线程完成后（最右边Page的乐观插入大概率会失败，因为这次SMO操作就是为了做最右边Page的SMO，那么乐观线程插入失败以后会转换成悲观线程进行插入），获得了Level 1 Page x lock，再等待Level 0 ...
数字类型
因此，列上声明的精度和比例都是最大值，而不是固定分配的（在这个方面，numeric 类型更类似于 varchar(``n``)，而不像 char(``n``)）。实际存储要求是每四个十进制位组用两个字节，再加上三到八个字节的开销。除了普通的数字值之外，...
列存索引中GroupJoin算子的实现
3.使用memoizing的方式解决并发查哈希表做聚合运算时的冲突 举个极端的例子：hash probe的过程中，所有数据都命中hash table的同一个entry，因此要在此entry进行聚合运算（比如SUM(2*col)），因此需要使用同一个“aggr context”运行aggr...
SELECT
这样一个项的输出是把每一个函数的第一行串接起来，然后是每个函数的第二行，以此类推。如果有些函数产生的行比其他函数少，则在缺失数据的地方放上 NULL，这样被返回的总行数总是和产生最多行的函数一样。join_type 包含如下5种类型：...
简介
例如：当一个文件有写权限（w）但没有追加写的权限（a）时，执行写文件操作可能返回错误，在目录下做修改也有类似情况。为了避免意想不到的权限错误，建议使用 nfs4_setfacl 操作写权限时使用大写W，nfs4_setfacl 会将大写W转化为完整的写...
声明
简介 在一个块中使用的所有变量必须在该块的声明小节中声明（唯一的例外是在一个整数范围上迭代的 FOR 循环变量会被自动声明为一个整数变量，并且相似地在一个游标结果上迭代的 FOR 循环变量会被自动地声明为一个记录变量）。PL/SQL变量...
方案扩展
方法二：完全使用推模式可以彻底解决这个问题，但会增大存储量，并增长大V微博发送总时间，从发给第一个粉丝到发给最后一个粉丝可能要几分钟时间（一亿粉丝，100万行每秒，需要100秒），还需要为最大并发预留好资源（如果使用阿里云表格...
模式匹配
如果找到一个匹配并且 pattern 含有带括号的子表达式，那么结果是一个文本数组，其中第 n 个元素是与 pattern 的第 n 个圆括号子表达式匹配的子串（“非捕获”圆括号不计入在内，详见下文）。flags 参数是一个可选的文本字符串，它包含零个...
启动方式与环境变量说明
默认PyTorch训练时会启动一个rendezvous服务，AIACC会启动一个类似的rendezvous服务，因为两者共用同一台master_addr地址，您只需保证两者端口号不同即可。PERSEUS_NCCL_NETWORK_INTERFACE(1.5.0+)设置nccl通信使用的网卡信息，默认为eth0...
COPY
COPY TO 把一个表的内容复制 到 一个文件，而 COPY FROM 则从一个文件复制数据到一个表（把数据追加到表中原有数据）。COPY TO 也能复制一个 SELECT 查询的结果。如果指定了一个列列表，COPY TO 将只把指定列的数据复制到文件。对于 COPY ...
Linux集成开发指南
主要功能列表 摩观人脸SDK（以下简称SDK）主要提供以下功能：人脸检测 人脸RGB活体检测 人脸1:N底库搜索，支持十万张人脸底库检索 人脸1:1特征比对 规格信息 底库数量10万 内存需求：以下表格表示业务如果需要做1:N的情况下，人脸SDK额外...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
Range Clustering
Range Clustering作为一种新的数据切分方式，提供了一个全局有序的数据分布，一是可以避免Hash Clustering可能造成的数据倾斜问题；二是在数据有序分布的前提下，创建两级索引（Index），支持对Clustering Key的区域查询以及多键的组合查询...
InnoDB Physiological Logging
例如：一次 DELETE 操作，逻辑日志只需要记录MLOG_COMP_REC_DELETE offset，但实际执行过程中需要修改prev_record->next_record、next_record->prev_record、checksum和PAGE_DIR_SLOT_MIN_N_OWNED，可能还需要更新dir slot等信息。...
云服务器ECS多分区场景下的磁盘分区扩容方法
阿里云对第三方产品的性能、可靠性以及操作可能带来的潜在影响，不做任何暗示或其他形式的承诺。概述 本文主要介绍在多分区场景下，云服务器ECS磁盘分区扩容的方法。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，...
ALTER TABLE
如果 PRIMARY KEY 被指定，并且该索引的列没有被标记 NOT NULL，那么这个命令将尝试对每一个这样的列做 ALTER COLUMN SET NOT NULL。这需要一次全表扫描来验证这些列不包含空值。在所有其他情况中，这都是一种很快的操作。如果提供了一个...
数组类型
默认情况下，数组使用了一种从 1 开始的编号习惯，即一个具有 n 个元素的数组从 array[1]开始，结束于 array[``n``]。下面的查询检索所有员工第三季度的工资：SELECT pay_by_quarter[3]FROM sal_emp;pay_by_quarter-10000 25000(2 rows)...
Hash Clustering
但是因为我们已经对 id 做Hash Shuffle，并且对 id 做排序，查询可以极大简化：通过查询值 12345 找到对应的Hash Bucket，这时候我们只需要在1个Bucket里面扫描，而不是全部1000个Bucket里面扫描。称之为Bucket Pruning。因为Bucket内数据...
查询语法
.][HAVING having_condition][ORDER BY {col_name|expr }[ASC|DESC],.][{ UNION[ALL]|INTERSECT|EXCEPT }(SELECT select_expr.)][LIMIT {row_count}]WITH子句 WITH语句用于定义一个或者多个子查询，每个子查询定义一个临时表，类似于视图的...
SELECT语句
.][HAVING having_condition][ORDER BY {col_name|expr }[ASC|DESC],.][{ UNION[ALL]|INTERSECT|EXCEPT }(SELECT select_expr.)][LIMIT {row_count}]WITH子句 WITH语句用于定义一个或者多个子查询，每个子查询定义一个临时表，类似于视图的...
K均值聚类算法（K-Means）
该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，将每一个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类。即K-Means算法将输入表的...
如何在SLES for SAP高可用环境下不停机修改SBD设备的...
强烈建议做变更前对ECS的数据盘创建快照，您可以参考 单块云盘快照 或者 多个云盘快照。解决方案 将SBD的watchdog timeout和msgwait timeout从默认的5s和10s修改成30s和60s，以下操作以SAP PO SCS HA高可用环境为例描述操作流程。SAP S/4...
规划器使用的统计信息
1.单列统计信息 如我们在上一节所见，查询规划器需要估计一个查询要检索的行数，这样才能对查询计划做出好的选择。本节对系统用于这些估计的统计信息进行一个快速的介绍。统计信息的一个部分就是每个表和索引中的项的总数，以及每个表和...
JSON类型
而 jsonb 数据被存储在一种分解好的二进制格式中，它在输入时要稍慢一些，因为需要做附加的转换。但是 jsonb 在处理时要快很多，因为不需要解析。jsonb 也支持索引，这也是一个令人瞩目的优势。由于 json 类型存储的是输入文本的准确拷贝，...
如何从SBD fence方案迁移到Fence aliyun方案？
强烈建议做变更前对ECS的系统盘和数据盘创建快照，您可以参考 单块云盘快照 或者 多个云盘快照。方案 场景一：SAP HANA高可用环境 以下是SAP HANA高可用环境的操作流程，具体如下：登录集群的主节点，执行以下命令，查看所有资源的状态。...
Quick Audience数据集样例
客户数据 将最近N天的原始数据聚合成以客户为粒度的标签数据（聚合后的数据量建议保持在1亿行以内），表中每个客户只存在一条数据。客户数据表样例：user_id 最近一次消费日期 累计消费金额 累计消费次数 user_id_2 user_id_3 user_id_.a...
HTAP中的行列混存查询优化
因此在所有的数据库系统中都存在查询优化器，典型的查询优化器结构如下图所示：通常，查询优化器会通过如下三个典型组件来协同工作：Plan space enumeration：根据一系列的等价变换规则生成与查询等价的多个执行计划。cardinality ...
排序优化和执行
当处理完全部的输入数据时，堆中留下的N个行（或小于N个）即为需要的结果。explain select t1.name from t1 join t2 on t1.id=t2.id order by t1.name,t2.name limit 10;返回信息如下：Project(name="name")TopN(sort="name ASC,name0 ASC...
Linux实例磁盘扩容后同步空间到逻辑卷分区
系统中该数据盘的磁盘标识为/dev/vdb，该数据盘只有1个主分区/dev/vdb1，且LVM逻辑分区有一个VG为 vg_ssy，一个LV为 lv_ssy。实验步骤 登录ECS实例，执行如下命令，确认当前磁盘扩容成功。fdisk-l 系统返回类似如下，说明系统已正确识别。...
术语表
在使用性能测试 PTS（Performance Testing Service）之前，您需要了解PTS的相关名词术语。术语 说明 3xx 表示客户端需要采取进一步的操作才能完成请求。通常这些状态码用来重定向，后续的请求地址（重定向目标）在本次响应的Location域中...
常见问题
从N个 0/1 值转换为了 N/32 个整数，能对生成的索引起到压缩空间的作用。如何设置行列值（-column_num和-row_num）？Proxima CE属于分布式离线向量处理引擎，当前主要依托MaxCompute平台的MapReduce（简称MR）来处理超大规模数据。在build...
- 产品推荐
- 这些文档可能帮助您