数学统计函数
binomial_cdf函数 binomial_cdf(x,y,v)用于计算二项分布的累积分布函数P(N)，其中x表示实验的次数，y表示单次实验成功的概率。cauchy_cdf函数 cauchy_cdf(x,y,v)用于计算柯西分布的累积分布函数P(N;x,y)，其中x表示分布峰值位置的位置参数...
高斯分布拟合
功能说明 高斯拟合分布组件支持对给定数据点进行高斯分布拟合，利用KS检验数据是否服从高斯分布，输出拟合后的概率分布，以及KS检验结果、高斯分布均值、标准差。计算逻辑原理 高斯分布：若随机变量 服从一个位置参数、尺度参数为 的概率...
卡方分布拟合
功能说明 卡方分布拟合组件支持对给定数据点进行卡方分布拟合，利用KS检验数据是否服从卡方分布，输出拟合后的概率分布，以及KS检验结果、卡方分布自由度。计算逻辑原理 卡方分布：卡方分布是统计推断中应用最广泛的概率分布之一。其定义为...
泊松分布拟合
功能说明 泊松分布拟合组件支持对给定数据点进行泊松分布拟合，利用KS检验数据是否服从泊松分布，输出拟合后的概率分布，以及KS检验结果、泊松分布的期望（方差）。计算逻辑原理 泊松分布：泊松分布的概率密度函数为 泊松分布的参数是 单位...
核密度估计函数
核密度估计函数采用平滑的峰值函数来拟合观察到的数据点，从而对真实的概率分布曲线进行模拟。函数格式 select kernel_density_estimation(bigint stamp,double value,varchar kernelType)参数说明 参数 说明 stamp UnixTime 时间戳数据，...
三方模型应用
例如，取值为0.8时，仅保留累计概率之和大于等于0.8的概率分布中的token，作为随机采样的候选集。取值范围为（0,1.0)，取值越大，生成的随机性越高；取值越低，生成的随机性越低。默认值为0.8。注意，取值不要大于等于1 0.8 Parameters ...
GMM聚类
计算逻辑原理 高斯混合模型试图找到多维高斯模型概率分布的混合表示，从而拟合出任意形状的数据分布。图：GMM聚类过程 参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征变量。是 整数或浮点数 ...
模型应用
例如，取值为0.8时，仅保留累计概率之和大于等于0.8的概率分布中的token，作为随机采样的候选集。取值范围为（0,1.0)，取值越大，生成的随机性越高；取值越低，生成的随机性越低。默认值为0.8。注意，取值不要大于等于1 0.8 Parameters ...
检索增强应用
例如，取值为0.8时，仅保留累计概率之和大于等于0.8的概率分布中的token，作为随机采样的候选集。取值范围为（0,1.0)，取值越大，生成的随机性越高；取值越低，生成的随机性越低。默认值为0.8。注意，取值不要大于等于1 0.8 Parameters ...
插件和流程编排应用
例如，取值为0.8时，仅保留累计概率之和大于等于0.8的概率分布中的token，作为随机采样的候选集。取值范围为（0,1.0)，取值越大，生成的随机性越高；取值越低，生成的随机性越低。默认值为0.8。注意，取值不要大于等于1 0.8 Parameters ...
术语解释
分位数 指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等。例如，正态分布的百分位数情况如下图所示：中位数 指将样本数据按大小顺序排列起来，形成一个数列，居于数列中间位置的...
电子表格支持函数说明
FDIST 给定输入x，计算两个数据集的右尾F概率分布（差异程度）。此分布也称为Fisher-Snedecor分布或Snedecor F分布。F.DIST 给定输入x，计算两个数据集的右尾F概率分布（差异程度）。此分布也称为Fisher-Snedecor分布或Snedecor F分布。F....
函数概览
本文列举的函数与运算符可以被用在 SLS 的 SQL 或 SPL 两种语言中。函数与运算符 说明 您可以根据具体使用的功能、语言，在本文中查看具体的函数、运算符用法。下表中，√表示支持，×表示不支持。SQL 是一种广泛使用的查询、分析语言，...
人群预测
明细结果 明细结果 页签展示：示例用户的未来N天购买概率：未来N天购买概率得分分布，鼠标移动到得分图形上，将弹窗显示获得当前得分的用户人数，以及获得大于等于当前得分的用户总人数：请您单击 新建受众，将需要的预测用户保存为受众：...
Contextual Bandit 算法
赌徒要去摇老虎机，走进赌场一看，一排老虎机，外表一模一样，但是每个老虎机吐钱的概率可不一样，他不知道每个老虎机吐钱的概率分布是什么，那么每次该选择哪个老虎机可以做到最大化收益呢？这就是多臂赌博机问题（Multi-armed bandit ...
经验概率密度图
算法中采用内核分布估计样本数据的概率密度，和直方图类似都是产生函数描述样本数据的分布，区别是内核分布叠加各部分的贡献而产生连续平滑的分布曲线，而直方图是离散地描述。采用内核分布时，非样本的数据点概率密度并非0，而是各样本...
研发效能，我们怎么衡量？
看响应能力 在效能分析场景的报表中，通过「需求交付分布」、「需求累积流图」指标卡来看响应能力。首先，我们先看一下「需求交付分布」，我们可以：看到各需求上线时间的分布情况，反映团队的需求发布频率；看到需求交付周期的趋势，反映...
数据探索函数
数据探索函数得到样本数据的趋势、极大值、中心值，检验数据是否符合正态分布、均匀分布或指数分布。函数 说明 均匀分布或指数分布的检验函数 检验数据分布是否满足均匀分布或指数分布。正态分布检验函数 检验数据分布是否满足正态分布。...
基于TairString实现高性能分布式锁
分布式锁是大型应用中最常见的功能之一，基于Redis实现分布式锁的方式有很多。本文先介绍并分析常见的分布式锁实现方式，之后结合阿里巴巴集团在使用 云原生内存数据库Tair 和分布式锁方面的业务经验，介绍使用 Tair 实现高性能分布式锁的...
逻辑回归
本质是假设数据服从这个分布，然后使用极大似然估计做参数的估计。参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征列 是 整数或浮点数 说明 若存在非数值数据，则会抛出异常。CSV组件。...
合作伙伴及开源生态
战略合作伙伴 蚂蚁集团除了与众多行内 ISV 进行合作外，还与众多的金融机构达成了战略合作协议，在场景、技术上进行深度合作，特别是在金融科技、分布式架构上与各金融机构进行联合创新，形成金融科技开放生态。目前，蚂蚁集团对外开放的...
ST_IsRandomSampled
属性的选取应尽量采用不重复且分布均匀的属性或属性集合。sample_rate 采样率，决定一条记录被采样的概率。举例：如果sample_rate=50，一条记录有百分之五十的几率被选中采样，即ST_IsRandomSampled对百分之五十的数据会返回true。描述 若...
ST_IsRandomSampled
属性的选取应尽量采用不重复且分布均匀的属性或属性集合。sample_rate 采样率，决定一条记录被采样的概率。举例：如果sample_rate=50，一条记录有百分之五十的几率被选中采样，即ST_IsRandomSampled对百分之五十的数据会返回true。描述 若...
ST_IsRandomSampled
属性的选取应尽量采用不重复且分布均匀的属性或属性集合。sample_rate 采样率，决定一条记录被采样的概率。举例：如果sample_rate=50，一条记录有百分之五十的几率被选中采样，即ST_IsRandomSampled对百分之五十的数据会返回true。描述 若...
Bucket Shuffle Join
在等值Join条件中包含两张表的分桶列，当左表的分桶列为等值的Join条件时，它有很大概率会被规划为Bucket Shuffle Join。由于不同数据类型的hash值计算结果不同，因此，Bucket Shuffle Join要求左表分桶列的类型与右表等值Join列的类型保持...
2021年
广播分片模型：广播任务可以通过JobContext获取 shardingNum 和 sharingId，通过自己机器的index进行数据分布式处理。分片模型增强：JobContext可以从 shardingNum 获取所有分片数量。无 1.2.7，2021-4-28 变更类型 功能描述 相关文档 新增...
查看集群日报与分析
Hive库存储格式分布Top信息展示如下：库TextFile存储格式数据量分布Top 库Parquet存储格式数据量分布Top 库ORC存储格式数据量分布Top Hive表信息 Hive表信息包含以下部分：Hive表详细信息 Hive表文件大小分布Top信息 Hive表冷热数据分布Top...
基础术语
发起方 initiator 分布式事务的发起方负责启动分布式事务，通过调用参与者的服务，将参与者纳入到分布式事务当中，并决定整个分布式事务是提交还是回滚。一个分布式事务有且只能有一个发起方。参与者 participant 参与者提供分支事务服务。...
概述
分布式事务 DTX（Distributed Transaction-eXtended）是蚂蚁集团自主研发的金融级分布式事务中间件，用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路，服务于亿级用户的...
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
功能特性
分布式事务（Distributed Transaction-eXtended，简称 DTX）是蚂蚁集团自主研发的金融级分布式事务中间件，支持跨数据库、跨服务以及混合的方式处理分布式应用，具备多种接入模式和金融级配套功能，本文将主要介绍分布式事务的功能特性。...
历史记录
广播分片模型：广播任务可以通过JobContext获取 shardingNum 和 sharingId，通过自己机器的index进行数据分布式处理。分片模型增强：JobContext可以从 shardingNum 获取所有分片数量。1.2.7，2021-4-28 新特性 新增开关，可以关闭的...
概述
SOFAStack 提供了一套用于快速构建金融级分布式架构的中间件，是在严苛的金融场景里锤炼出来的最佳实践。要使用 SOFA 中间件，例如微服务或消息队列，推荐使用 SOFABoot 框架进行开发。SOFABoot SOFABoot 是蚂蚁科技基于 Spring Boot 自研...
2019年
客户端生成的workerId存在小概率重复冲突的问题，造成任务触发到非本应用的机器上。Spring应用不能自定义 class loader。秒级别任务广播执行计数器显示不对。秒级别任务，jobContext.getScheduleTime 没有跟着循环更新。无 1.0.8，2019-08-...
应用场景
分布式事务可应用在多个涉及数据库操作的领域，尤其在金融领域可以做到全场景的覆盖与落地验证，包括：支付与转账、账务：对于吞吐量有很高的要求 金融与理财：往往涉及的金额较大，所以对于产品的稳定性要求非常高 保险与监管报送：参与方...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
开通服务
本节介绍如何开通分布式事务服务。前提条件 已注册阿里云账号，并完成实名认证。操作步骤 开通 SOFAStack 产品服务。使用阿里云账号登录 阿里云官网。在上方菜单栏选择 产品与服务>中间件>金融分布式架构 SOFAStack。在 SOFAStack 产品主页...
窗口函数
如果切片不均匀，默认增加第一个切片的分布。nth_value 返回分组中的第n个值。cume_dist 计算分组中值小于等于当前值的行数占分组总行数的比例。各个窗口函数支持的参数说明如下。rank、dense_rank、percent_rank 和 row_number 支持下列...
常见问题
本文主要介绍在操作分布式事务过程中的常见问题。SOFAStack 是否可以部署在虚拟机、物理机上？可以，SOFAStack 部署支持物理机、虚机机 VM。SOFAStack 当前是否只支持阿里云飞天 ACK？SOFAStack 部署支持多云异构、目前支持华为云、开源 ...
分布式序列问题
分布式序列是否全局唯一 单库单表的分布式序列可以保证生成的序列 ID 全局唯一。分库分表的分布式序列仅保证单个分片的序列 ID 唯一，如果需要确保分库分表的分布式序列全局唯一，可以在序列 ID 中拼接分库分表位，以此保证全局唯一。分布...
- 产品推荐
- 这些文档可能帮助您