Contextual Bandit 算法
利用 Bandit 算法设计的推荐算法可以较好地解决上述问题。根据是否考虑上下文特征，Bandit算法分为context-free bandit和contextual bandit两大类。算法伪代码（single-play bandit algorithm）：与传统方法的区别：每个候选商品学习一个...
设计师必读及常见问题
设计师必读 如果当前的插件不支持想要的渲染效果时，可通过设计师工具箱Leap Box中的 预渲染 工具，将图层和特效进行预渲染合成。操作视频，请参见 VE Cleaner使用教程（视频05:00~11:20处）。为了保证合成速度及降低存储空间占用，建议...
设计原则
其次，企业在进行设计时，需要平衡IT能力和业务需求。企业需要明确自己的业务需求和目标，并将其转化为IT架构的实现需求。做好技术选型 面对众多的技术/工具选型，组织应参考长期技术演进路线、社区活跃程度、技术成熟度、安全性等几个主要...
业产技融合分层协作方案
所以经常看到的关键词是：“敏捷”、“高效”、“持续交付”，在SCRUM实施成功的研发团队，我们能看到需求的交付时间较短，需求的吞吐率很高，但是仍然有两个问题比较难回答：技术团队所做的需求，是否很好的支撑了公司的业务发展？...
Table Group设置最佳实践
我有256Core规格实例，有很多张列存表，主要进行毫秒级快速OLAP分析，每张表数据量千万条级别，主要场景为group by多个字段，以及按条件查明细，该怎么设计Table Group和Shard Count？计算负载比较单一，可以一个Table Group解决。256Core...
2、PM如何设计工作流和创建看板？
为了分析价值流，需要识别团队交付的价值类型，一般团队交付的价值类型包括业务需求、关联需求、改进类需求和其他任务，而往往业务需求占团队工作的比重比较大，这里围绕业务需求来设计工作流。如下图所示，首先要确定的是价值流动所经历的...
设计方案
基于稳定性支柱设计原则，整体稳定性设计方案可参考如下：架构设计原则 软件系统从所有的功能都在一个应用程序内运行的单体应用架构，到不同的功能模块分别部署在不同的服务器上的传统分布式应用架构，再到服务细分通过轻量级的通信机制...
淘宝App在短视频场景下的IETF QUIC最佳实践
在2019年初，当时大家有一个共同的判断是要走标准化道路，一方面是因为从商业化产品角度，私有协议解决方案更难被用户认可，另一方面整个标准化协议的设计和安全性都有更完备的考量。在决定选择标准化道路之后，当时市面上也没有特别成熟并...
4、如何做好迭代排期？
双周迭代的运作机制 上图是双周迭代的运作流程：在 N-2 和 N-1 周，业务和产品会持续做需求的分析和设计，会把要排入迭代的需求按优先级高低准备好，包括需求的分析、设计和澄清；随后开发和测试同学在排期后的两周内（N 周和 N+1周），按...
DCDN为淘宝App短视频场景加速的IETF QUIC最佳实践
在2019年初，当时大家有一个共同的判断是要走标准化道路，一方面是因为从商业化产品角度，私有协议解决方案更难被用户认可，另一方面整个标准化协议的设计和安全性都有更完备的考量。在决定选择标准化道路之后，当时市面上也没有特别成熟并...
读取优化
其实HBase还是比较灵活的，关键看你是否使用得当，以下主要列举一些读的优化。HBase在生产中往往会遇到Full GC、进程OOM、RIT问题、读取延迟较大等一些问题，使用更好的硬件往往可以解决一部分问题，但是还是需要使用的方式。我们把优化...
RDS MySQL慢SQL问题
在相同业务场景下，架构设计和库表索引设计会影响查询性能，良好的设计可以提高查询性能，反之会出现很多慢SQL（执行时间很长的SQL语句）。本文介绍导致慢SQL的原因和解决方案。SQL异常 原因及现象 SQL异常的原因很多，例如库表结构设计不...
中体彩基于Landing Zone实现统一规划和组织协同
始终倡导“公益体彩，乐善人生”的公益理念，形成了服务社会、践行公益，具有中国特色的体育彩票发展道路。2018年，中国体育彩票通过世界彩票协会（World Lottery Association）责任彩票三级认证，标志着中国体育彩票在践行责任理念、坚持...
概述
业务分类 当企业业务比较复杂，不同类型业务彼此间需要共享数据域，但是又希望能在模型设计和应用过程中快速定位本业务的数据时，您可结合真实业务情况，规划不同的业务分类，在后续建模的维度表和明细表中，将其关联到对应的业务分类中。...
分割抠图介绍
五官分割 识别输入图像中的五官轮廓，对眼睛、鼻子、嘴进行像素级语义分割，人脸比较明显的图片输入效果更好。皮肤分割 识别图片中的人物皮肤，并对图中人物的皮肤区域进行分割。商品分割 商品分割 识别输入图像中的商品轮廓，与背景进行...
Doris概述
Apache Doris是一个高性能、实时的分析型数据库，能够较好的满足报表分析、即席查询、数据湖联邦查询加速等使用场景。本文为您介绍Apache Doris。背景信息 关于更多Apache Doris信息，详情请参见 Doris介绍。使用场景 数据源经过各种数据...
X-Engine简介
Row Cache需要保证缓存了所有持久化层次中最新版本的记录，而这个记录是可能发生变化的，例如每次flush将只读的memory tables写入持久化层次时，就需要恰当的更新Row Cache中的缓存记录，这个操作比较微妙，需要精心的设计。对于范围扫描而...
网络规划
但与泛互联网型企业的轻资产相比，传统企业的云下IT规模较大，有比较沉重的历史包袱，以及各种行业规范的约束，所以对于网络的规划设计、部署使用、运维管理都有自己的要求，并且还可能面临各种各样的特殊业务场景，仅仅具备云产品的初级...
围绕混沌工程的平台实践
混沌工程和AHAS Chaos AHAS Chaos是以混沌工程为理论指导的故障演练平台，目标是成为混沌工程领域的最佳平台实践，因此在功能设计上紧紧围绕了混沌工程的基本原则。原则1建立一个围绕稳定状态行为的假说 稳定状态规定了在演练开始前需要...
常见问题
如何设计排序键？如何合理的选择数据类型？数据导入常见问题 业务调优 购买常见问题 EMR StarRocks支持哪些地域？常见使用问题 如何选择数据模型？StarRocks数据模型count的实现机制是怎么样的？如何减少/mnt/disk1/starrocks/storage/...
Hyperledger Fabric 性能篇
设计高性能的BaaS应用程序 这里首先为大家介绍Fabric中交易的基本概念，再从链码设计、SDK应用使用两个方面解析提升性能的关键点。交易的一生 SDK 生成 Proposal，其中包含调用链码的相关参数等信息 SDK 将 Proposal 发送到多个不同的 peer...
混合负载HTAP
说明 分析型查询指的是涉及数据量较大、计算比较复杂的查询，例如对一定时间区间内的数据进行聚合，相比于业务中常见的简单查询，这类查询往往要执行数秒甚至数分钟，需要消耗较多的计算资源。为了提高复杂分析型查询的速度，PolarDB-X 将...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
小马智行基础设施自动化（IaC）实践
但是中国内地相对来说比较滞后，知道并使用的人还是比较少。在这方面，拥有海外背景的小马智行具备技术的先发优势。我们发现，结合Git等代码管理工具，可以很好的解决部署可追溯以及版本化的问题。所有运维团队部署的过程和变更细节都可以...
迁移HBase至Hologres
您可以从HBase迁移表和数据至Hologres获取更好的数据开发体验。Hologres与HBase对比 Hologres与HBase产品特性对比如下。能力 HBase Hologres 产品定位 分布式面向列簇的开源数据库。云原生分布式实时数仓。系统架构 存储计算耦合，存储依赖...
什么是多活容灾
好的容灾系统需要尽量满足用户的需求，但是容灾系统的设计往往受多种条件的制约，如可用的技术、现网状况、用户意志、用户业务等，但到目前为止，起决定性的因素，是容灾建设的成本。容灾架构建设方法 根据对容灾系统建设模型，容灾系统...
制造行业：日钢集团
目前，日钢集团各业务单位已开始实施数字可视化的开发设计工作，数据可视化的应用趋势正在替代传统的PPT汇报模式。日钢集团数据服务研发部的沈部长表示：“Quick BI 是一款非常易用的BI产品，帮助我们快速搭建了数据可视化平台，满足了企业...
如何制定科学有效的需求流程规范
如果产品团队不断发展壮大，有了独立的组织架构，覆盖多条产品线，并且对产品的规划有比较明确的诉求，这是我们会考虑引入第三类需求空间：产品规划空间，这类空间的负责角色就是产品团队，管理比较大的产品主题（topic），产品主题也一样...
Cost-based SQL诊断引擎
测试案例设计需要专业知识且信息量大，例如对于单一测试案例设计也需要专业知识且测试案例中携带的信息量大，如索引推荐测试案例，它包括：schema设计：如表、已有索引、约束等。各类统计信息数据。环境参数等等。如何构建大规模的诊断服务...
利用配置中心规范构建 PaaS 服务配置
迁移到MSE Nacos ACM进入下线状态，所有配置管理相关的需求由MSE中的Nacos承接（ACM独享版，更好的安全和稳定性）。您需要在ACM控制台导出配置，然后在MSE控制台导入之前导出的配置即可完成迁移。具体操作，请参见 将应用配置从ACM迁移到...
如何将一棵LSM-Tree塞进NVM
我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的...
PolarDB技术内幕
所以，PolarDB 在高负载下的性能比较差且不稳定，为此 PolarDB 专门对simulated AIO进行了重新的设计，主要包括：合理的选择IO合并和拆解，充分利分布式存储的多节点优势；建立状态有序的IO服务队列，减少高负载下的IO服务开销。通过重新...
提交列表与版本差异使用场景说明
识别提交变化，仅通过提交列表比较困难。例如对于中间提交进行修改，重新优化提交说明，或是编排提交列表顺序。要想识别出这些改动，需要借助于 range-diff 命令，即通过 git range-diff adf3e90.47c53b7 adf3e90.3add20b 来查看版本范围...
创建Hologres内部表
字典编码可将字符串的比较转为数字的比较，加速group by、filter等查询。位图列：即比特编码列，可对存储文件内部数据进行快速等值过滤。因此，建议您将等值filter条件的数据构建为比特编码。更多存储方式的详细介绍，请参见 建表概述。...
序言
传统 IT 架构和早期的软件研发，喜欢运用“瀑布式研发”模型，自上而下进行充分论证和设计，最终按照设计蓝图的定义进行构建，一旦设计成型之后很难改变，如果产生设计变更，则往往牵一发而动全身。挑战二：严苛金融场景下如何实现架构平衡...
偏分析场景的实践和优化
理论上表的分区数量越多越好，这样多个分区表可以做并行扫描。存储层更易做到水平扩展，存储千万条甚至上亿条数据。实际使用中建议一个分区表的数量在500w~5000w之间。选择合适的分区键 PolarDB-X 默认按照主键做分拆，主要为了降低分布式...
文本摘要（生成式）
文本摘要（生成式）服务基于PALM2.0中文生成摘要模型，针对实际场景中常见的文本生成需求所设计，适用于生成文本摘要或者生成文章的标题。PALM模型具有以下特点：理解能力更强：为conditional generation特别设计了预训练任务，增强模型对...
Nereids全新优化器
相比于旧版优化器，新优化器可以更好的支持多表Join查询，多层子查询嵌套等更为复杂的查询。此外，它减少了优化规则出现逻辑错误的可能性，并且便于扩展优化规则和处理阶段，能够更稳定、迅速地响应业务需求。功能简介 当下，现代查询优化...
应用场景
图数据库GDB针对高度互联数据的存储和查询场景进行设计，并在内核层面进行了大量优化，非常适合营收增长、金融风控、商品推荐、社交推荐、循环担保检测、异常指标监控和违规团伙挖掘等场景。营收增长 图数据库GDB提供智能搜索推荐一体化...
SQL其他常见问题
在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合预期？如何解决DECIMAL数据类型精度溢出问题？新创建的MaxCompute项目不支持数据类型自动隐式转换，如何解决？查询数据时，提示XXXtypeisnotenabled ...
- 产品推荐
- 这些文档可能帮助您