附录：SOFAStack 产品目录
同时满足异地容灾、低成本快速扩容的需求，能够解决传统集中式架构转型的困难，并通过打造大规模高可用分布式系统架构，来支撑金融业务创新。SOFAStack 由四大领域模块组成：分布式中间件、运维管理（应用 PaaS）、高阶运维保障、研发效能...
关键缺陷通知
当Query Master压力较大时，查询操作会因退出延迟而占用大量资源，导致后续的查询无法执行。出现版本：2.1.23至2.1.24版本。修复版本：2.1.25及以上版本。升级到最新版本。P1 对字典编码过的列添加bitmap，导致not null的列查询结果错误，...
费用与成本相关术语
按量成本等效值 被抵扣资源抵扣掉的用量，其实际上的按量付费成本。按资源用量编制预算 阿里云预算管理中支持根据资源用量进行预算金额设置，根据预算金额监控费用情况，并在触及客户定义的阈值时，发出预警通知。报告名称 指报告管理中该...
数据面质量
快速迭代 从项目立项到双十一，留给整个项目组的时间并不充裕，为了确保双十一能够平稳过度，蚂蚁团队采取的策略是：在质量可控范围内，通过快速迭代，让 MOSN 在线上能够获得充分的时间做验证。这离不开上述基础测试能力的建设，同时也...
云市场API概览
车牌识别 车牌识别可有效识别车辆车牌信息，支持多车牌以及多类车型检测识别，可有效识别大型汽车、小型汽车、新能源车、挂车、临时车牌、警车、军车、使领馆车、教练车、港澳车等多种车型，识别率达到97%以上。电子面单识别 电子面单识别...
创建加密计算托管集群
IPv6双栈 开启IPv6双栈将创建双栈Kubernetes集群。双栈功能正在公测中，如需使用请前往 配额平台 申请。重要 仅1.22及以上版本的Kubernetes集群支持IPv6双栈功能。Worker节点与控制平面之间的通信使用IPv4地址。容器网络插件需选择Terway。...
创建Kubernetes托管版集群
IPv6双栈 开启IPv6双栈将创建双栈Kubernetes集群。双栈功能正在公测中，如需使用请前往 配额平台 申请。重要 仅1.22及以上版本的Kubernetes集群支持IPv6双栈功能。Worker节点与控制平面之间的通信使用IPv4地址。容器网络插件需选择Terway。...
XxlJob任务
高可用 SchedulerX 2.0采用高可用架构，任务多备份机制，经历过阿里集团多年双十一、容灾演练等场景的考验，可以做到整个集群挂掉任意2个节点或者任意一个机房断电，任务调度都不会受到影响。商业化报警运维 SchedulerX 2.0除了兼容XXL-JOB...
XxlJob任务
高可用 SchedulerX 2.0采用高可用架构，任务多备份机制，经历过阿里集团多年双十一、容灾演练等场景的考验，可以做到整个集群挂掉任意2个节点或者任意一个机房断电，任务调度都不会受到影响。商业化报警运维 SchedulerX 2.0除了兼容XXL-JOB...
电商业务多活实践
本文示例以 挂掉杭州单元的productservice 来模拟故障，此时这些0~4990 ID的用户都无法使用服务，在MSHA控制台进行切流操作，这样这部分ID就能使用北京单元提供的服务了。可以看到购物车cartservice没做单元化，所以切流后的购物车就没数据...
逆向建模：物理表反向建模
创建的模型可归属于 公共层 或 应用层，不同层级归属需单独完成如下准备：公共层：已创建数据域，用于确定模型所统计的业务数据范围。详情请参见 数据域。已创建业务过程，用于确定模型所统计分析的具体业务活动。详情请参见 业务过程。...
Tair选型指南
3 选择容灾方案 云原生内存数据库Tair 实例若因不可预料的原因（例如设备故障、机房断电等）发生故障，容灾机制保障数据的一致性和业务可用性。云原生内存数据库Tair 提供多种灾备方案供您选择，可满足不同的业务场景。4 预估内存规格 提前...
云数据库Redis版产品选型必读
选择容灾方案 当云数据库Redis实例因不可预料的原因（例如设备故障、机房断电等）发生故障，容灾机制可用于保障数据的一致性和业务可用性。云数据库Redis提供多种灾备方案供您选择，可满足不同的业务场景。选择大版本 推荐使用更新的大版本...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
计算资源优化
对于用户侧的冷启动，建议您从以下几方面优化：精简代码包：开发者要尽量缩小代码包。去掉不必要的依赖。例如，在Node.js中执行 npm prune 命令，在Python中执行 autoflake。另外，某些第三方库中可能会包含测试用例源代码，无用的二进制...
离线同步常见问题
使用lindorm bulk方式写入数据，是否每次都会替换掉历史数据？如何查询一个ES索引下的所有字段？MongoDB Reader是否大小写敏感？怎么配置MongoDB Reader超时时长？向包含主键自增列的目标表写入数据，需要如何配置OTS Writer？在时序模型的...
混合云应用双活容灾最佳实践
接入集群部署和配置 云上云下部署MSHA接入层集群（MSFE），上挂SLB用于公网接入以及MSFE集群的负载均衡。具体操作，请参见 管理MSFE接入层集群。录入域名、URI和后端应用地址，从而具备云上云下分流和分钟级切流能力。具体操作，请参见 ...
EAS常见问题
VPC调用地址是内网SLB+网关的模式（公网地址是公网SLB+网关），这是比较经典的请求模式，在这种模式下请求需要通过SLB的4层转发和网关的7层转发之后到达服务实例，在大流量高并发的场景中通过转发会带来一定的性能开销，同时网关也会有带宽...
表分区
当查询或更新访问一个分区的大部分行时，可以通过该分区上的一个顺序扫描来取代分散到整个表上的索引和随机访问，这样可以改善性能。如果批量操作的需求是在分区设计时就规划好的，则批量装载和删除可以通过增加或者去除分区来完成。执行 ...
App端性能体验功能说明
基础字段 名词 名词解释 错误数 该类错误在一定时间范围内产生的次数，也就是SDK上报的日志数量 错误率 错误率=错误次数/应用启动次数，对于自定义异常类的错误，错误率可能大于100%，对于崩溃类的错误由于数据挤压和延时上报的原因，在...
基于组件化EasyRec框架快速搭建深度推荐算法模型
DAG的输出节点由 concat_blocks 配置项定义，各输出 组件块 的输出tensor拼接之后输入给一个可选的顶部MLP层，或者直接链接到最终的预测层。案例1.Wide&Deep 模型 配置文件：wide_and_deep_backbone_on_movielens.config model_config:{ ...
基本概念
单元化架构 应用层按照数据层相同的拆片维度，把整个请求链路收敛在一组服务器中，从应用层到数据层就可以组成一个封闭的单元。数据库只需要承载本单元的应用节点的请求，大大节省了连接数。“单元”可以作为一个相对独立整体来挪动，甚至...
PolarDB处理TPC-H查询的挑战和机遇
由于历史原因，MySQL对于join的处理是重度依赖nest loop的，MySQL 8.0之前甚至没有hash join，直至现在也没有sort merge join，它专为nested loop join实现了两种优化：block nested loop join(BNL)：为了减少内表的重复扫描次数，在外表...
列存索引技术架构介绍
MySQL架构在AP场景的缺陷 MySQL架构在执行复杂查询时性能差有多个方面的原因。对比专用的OLAP系统，其性能瓶颈体现在以下方面：MySQL的SQL执行引擎基于流式迭代器模型（Volcano Iterator）实现。该架构在工程实现上依赖大量深层次的嵌套...
CDN缓存命中率较低排查方法
现需要排查缓存命中率不高的原因。详细信息 如果发生命中率过低的情况意味用户的每次请求都会通过CDN回源，公网链路的不稳定可能导致加速的效果反而变差。如何解决命中率过低的问题，可以通过预热URL、配置资源缓存规则、过滤URL中可变参数...
身份管理
在阿里云上，针对两种类型的身份管理，基于安全的最小化原则，核心有两大原则：缩小暴露时长和缩小暴露面积。缩小暴露时长指尽可能使用临时身份或凭据替代固定身份或凭据，即使使用固定身份或凭据，也建议定期轮转。缩小暴露面积指尽可能...
PolarDB HTAP实时数据分析技术解密
最后，列存中的大块存储结构，结合MIN、MAX等粗糙索引信息可以实现大范围的数据过滤。所有这些行为都极大的提升了IO的效率。在存储计算分离架构下，减少网络读取的数据量，可以缩短对查询处理的响应时间。列式存储同样能提高CPU在处理数据...
深度解析Lindorm搜索索引（SearchIndex）特性
存储引擎层每个KV都有时间戳，如果业务写入时没有显示的设置，服务端会自动设置为系统时间戳，遵循"时间戳大的优先可见"的原则。业务自定义时间戳的写入，在构建索引时需要获取到所有的历史数据（包括删除的数据），才能准确判断当前的写入...
常见报错及解决方案
A：失败的原因主要是上次安装中断残留导致的脏数据，建议处理方法如下：1）全新安装：通过日志提示出来的完整 trident clean xx 命令进行清除，但是此操作会导致所有已安装的程序全部卸载，因此仅适用于新集群。2）原先有其他 K8s：可通过 ...
Spark FAQ
解决方案：通过报错信息查看异常的具体原因，大部分跟业务逻辑相关，您可以对其进行排查或者通过搜索引擎搜索解决。注意 如果是OOM异常则需要检查业务逻辑是否有大内存占用，特别是某个字段特别大的情况，如果确实需要更大内存，您可以考虑...
FE参数配置
default_max_filter_ratio 默认值：0 是否可以动态配置：true 是否为Master FE节点独有的配置项：true 说明：可过滤数据（由于数据不规则等原因）的最大百分比。取值为0，表示严格模式，只要数据有一条被过滤掉整个导入失败。default_db_...
分区表常见问题
分区表查询计划不准确主要的原因是统计信息不准确，在8.0.2版本中已经针对这个问题做了分区级别统计信息优化，建议您将版本升级到8.0.2。PolarDB MySQL版 的物理表如何分区？一般情况下，每个分区是一个Innodb表，Hybrid分区可以放在其他...
X-Engine引擎使用须知
作为自研数据库PolarDB的存储引擎之一，已经广泛应用在阿里集团内部诸多业务系统中，包括交易历史库、钉钉历史库等核心应用，大幅缩减了业务成本，同时也作为双十一大促的关键数据库技术，挺过了数百倍平时流量的冲击。X-Engine是适用于大...
数据开发
会员域-dwd_ec_trd_create_ord_di DWD 公共层_电商业务_交易域 下单 ads_ec_ec360_gmv_kpi_overview ADS 应用层_电商业务_电商集市 电商360 ods_mbr_user_info ODS 贴源层-ods_item_info ODS 贴源层-ods_t_area ODS 贴源层-ods_trade_order...
2021年8月24日 产品更新动态
2021年8月24日 产品更新，核心内容包括打通...具体如下：不再对下载的通话数量、文件大小有限制-过大的下载量会自动切分为多个包-在顶部菜单的【下载任务】模块中可以将多个包的下载任务展开详情，看到每个包的信息，同时支持对单个包进行下载
常见问题
导入文档只是通过对文档内容解析-分块-embedding向量化得到文档的向量数据库，然后在问答过程中先根据用户query进行向量检索，然后将检索结果和问题组成prompt，由大模型返回最终答案。模型训练中心」可以进行sft训练。2.通义千问升级后，...
强弱依赖治理概述
强弱依赖治理的应用 强弱依赖治理主要可以被应用到以下场景：系统改造验收：对于分布式系统，至少在运行态中，不会因为依赖的系统后台出现故障，引起当前应用出现系统级可用性的故障，例如进程挂掉、频繁FullGC、负载飙高等，何时何地都应...
配置生命周期挂钩
生命周期挂钩可以暂停由弹性伸缩自动触发的伸缩活动，使ECS实例或ECI实例处于挂起中的状态（即等待的状态），为您保留一段自定义操作的时间以满足特定的部署需求和业务场景，例如预装软件等。直至生命周期挂钩超时结束后，弹性伸缩的伸缩...
使用文本审核增强版识别文本违规风险
该资源包用于内容审核增强版用量的抵扣，无法与内容安全流量包共享，具体的抵扣系数如下：审核类型 抵扣系数 文本审核通用（text_standard）抵扣系数为1，表示每成功调用一次接口，抵扣资源包的流量包容量规格1次。说明 例如购买的资源包的...
Hyperledger Fabric 性能篇
当链码在一次 Query/Invoke 中调用了多次账本的查询或写入接口时，会产生一定的网络通信成本和延迟，这对网络的整体吞吐率会有一定的影响，详细的原因在（减少链码运算量）中介绍。我们在设计应用时，应尽量减少一次 Query/Invoke 中的查询...
- 产品推荐
- 这些文档可能帮助您