One-Hot编码
注意：One-Hot编码会增加数据集的维度，导致稀疏性问题和计算复杂度的增加，因此在实际应用中需要根据数据集大小和模型的性能需求进行权衡和选择。组件截图 二、参数说明 参数名称 参数说明 选择编码字段 选择需要进行One-Hot的字段。只可...
横向One-Hot编码
注意：横向One-Hot编码会增加数据集的维度，导致稀疏性问题和计算复杂度的增加，因此在实际应用中需要根据数据集大小和模型的性能需求进行权衡和选择。组件截图 二、参数说明 参数名称 参数说明 选择编码字段 选择需要进行横向One-Hot的...
消息堆积和延迟问题
本文主要介绍 云消息队列 RocketMQ 版 TCP协议的Java客户端使用过程中，经常会出现的消息堆积和消息延迟的问题。通过了解 云消息队列 RocketMQ 版 客户端的消费原理和消息堆积的主要原因，帮助您可以在业务部署前更好的规划资源和配置，或...
技术面临的挑战与革新
计算集群使用高主频，多CPU，大内存的机型解决计算能力扩展的问题，模组之间互相解耦，独立按需扩展，提供了更好的弹性以及整体资源利用率。同时存储计算分离架构在扩展存储时因为不再是记录级别的迁移，不需要过多考虑数据库系统诸如事务...
数云运维总监陈延宗：基于阿里云计算巢，数云CRM一键...
完善保障体系 To B业务有一个难点就是多环境、多租户的维护问题，我们的口号概括为三个数字“1、5、10”，就是1分钟发现问题、5分钟定位问题、10分钟解决问题。主要是使用自动化的工具，缩短可以来促进“1、5、10”目标达成的相关过程。...
高性能Flink SQL优化技巧
开启PartialFinal（解决COUNT DISTINCT热点问题）为了解决COUNT DISTINCT的热点问题，通常需要手动改写为两层聚合（增加按Distinct Key取模的打散层）。目前，实时计算提供了COUNT DISTINCT自动打散，即PartialFinal优化，您无需自行改写为...
闲鱼
本文介绍如何通过 函数计算，解决闲鱼研发耦合严重和运维复杂等问题。客户介绍 闲鱼是依托阿里电商体系的前台型业务，有非常独特的业务特点和用户诉求，在底层依托阿里系统的同时，在表现层和业务层需要探索适合闲鱼的、并且更加快速灵活的...
闲鱼
本文介绍如何通过 函数计算，解决闲鱼研发耦合严重和运维复杂等问题。客户介绍 闲鱼是依托阿里电商体系的前台型业务，有非常独特的业务特点和用户诉求，在底层依托阿里系统的同时，在表现层和业务层需要探索适合闲鱼的、并且更加快速灵活的...
清林云
问题定位困难：长时间流的执行丢失，若出现内存泄漏等问题，将难以定位，流状态管理复杂。高阶企业级需求难满足：自动化流的分布式问题难以解决，定时等任务还需要引入外部组件，多租户资源隔离难，同时还会遇到执行流冲突等问题。构建成本...
清林云
问题定位困难：长时间流的执行丢失，若出现内存泄漏等问题，将难以定位，流状态管理复杂。高阶企业级需求难满足：自动化流的分布式问题难以解决，定时等任务还需要引入外部组件，多租户资源隔离难，同时还会遇到执行流冲突等问题。构建成本...
语雀
本文介绍如何通过函数计算，解决语雀CPU密集场景下，进程被阻塞等问题。客户介绍 语雀是一个专业的云端知识库，用于团队的文档协作。现在已经是阿里巴巴员工进行文档编写和知识沉淀的标配，并于2018年开始对外提供服务。客户痛点 语雀是...
语雀
本文介绍如何通过函数计算，解决语雀CPU密集场景下，进程被阻塞等问题。客户介绍 语雀是一个专业的云端知识库，用于团队的文档协作。现在已经是阿里巴巴员工进行文档编写和知识沉淀的标配，并于2018年开始对外提供服务。客户痛点 语雀是...
DAS Auto Scaling弹性能力
然而随着用户业务的变化，在09:00时CPU再一次打高出现资源紧张的情况，此时的流量分析发现以写流量为主，DAS Auto Scaling算法判断通过提升计算资源规格缓解CPU资源，且实例的CPU利用率下降到50%，解决了第二次CPU紧张的问题。从这个实例的...
Logview诊断实践
解决思路：当出现性能问题时，可以按照下面这些方法进行排查和优化：检查UDF是否出错。有时候是由于某些特定的数据值引起的，比如出现某个值的时候会引起死循环。MaxCompute Studio支持下载表的部分Sample数据到本地运行，进行排查，详情请...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
HTTP触发器概述
并且需要将AK和SK保存在客户端，AK和SK存在泄漏的风险，虽然可以通过阿里云临时安全令牌（STS）来避免这个问题，但是会引入一定的架构复杂性。使用JWT（JSON Web Tokens）认证方式调用HTTP函数 JWT是一套流行的API授权访问机制，安全强度高...
HTTP触发器概述
并且需要将AK和SK保存在客户端，AK和SK存在泄露的风险，虽然可以通过阿里云临时安全令牌（STS）来避免这个问题，但是会引入一定的架构复杂性。使用JWT（JSON Web Tokens）认证方式调用HTTP函数 JWT是一套流行的API授权访问机制，安全强度高...
OOM常见问题排查指南
复杂Query 若是Query本身比较复杂或者扫描数据量较多，一个Query就出现OOM，可以通过以下方法解决。计算前置，将清洗好的数据写入Hologres，避免在Hologres进行大型ETL操作。增加过滤条件。SQL优化：例如使用Fixed Plan、count distinct...
产品概述
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。PolarDB-X 1.0 核心能力采用标准关系型数据库技术实现，配合完善的...
应用场景
但随着支付宝业务的飞速发展，发现系统中的单机容量开始出现不足，在分库分表的架构下，这种情况只能通过将数据继续拆分成 M*N 份来解决，导致一方面耗时耗力，另外一方面技术风险非常高。而 OceanBase 数据库利用分区表的方案及其带来的...
用户画像分析概述
无缝集成DataWorks产品，通过接入配置即可解决复杂数据依赖问题，构建稳定离线数据处理加载流程。为实时写入场景提供了基于LSM（Log-Structured Merge）结构的行存储，与Flink进行深度融合，能够为实时标签、实时特征处理等场景提供稳定的...
名词解释
由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上很好的使用等问题。GB/T28181 GB/T28181《安全防范视图计算联网系统信息传输、交换...
使用须知
Phoenix定位为OLTP和操作型分析（Operational Analytics），大多用于在线业务，稳定性要求第一位。Phoenix的功能很强大，也很灵活。本文结合大部分用户的经验，给出一些使用建议，希望能帮助更多用户少走弯路。重要 云数据库HBase的SQL功能...
持续架构优化
通过分析后发现这些业务，随着业务的发展，新的业务场景也会出现，云厂商也会推出新的产品类型和产品规格，通过持续架构优化，适配业务需要，并优化云资源使用，降低用云成本。对应用架构进行云原生化改造 云原生架构是基于云原生技术的一...
SQL其他常见问题
由于复杂结构的超大字段在数据开发和分析中会严重影响计算性能，因此建议根据数据仓库建设规范来设计您的数据架构，避免出现超大字段：具有复杂结构的原始数据，作为ODS层，最好以压缩的方式归档。定时（例如每天）对ODS层的增量数据做数据...
内建函数概述
此时，您可以通过 CAST 函数执行强制转换解决该问题，或关闭2.0新数据类型开关。当自定义函数的名称与内建函数的名称相同时，自定义函数会覆盖同名的内建函数。例如，MaxCompute中存在一个名称为CONCAT的自定义函数，则系统默认会调用...
产品优势
与传统依赖人力的应用交付和运维方式相比，计算巢提供了智能高效、安全可靠的服务交付和运维体验，有助于提升服务商的服务能力、降低运营成本、提升用户的部署效率和降低用户管理软件和资源的成本。智能高效 计算巢集成了阿里云一系列底层...
公告
计算成本优化功能在原计算资源优化功能（对 包年包月一级Quota 类型的计算资源生成更优的资源配置方案）的基础上增加支持查看使用 按量付费计算资源 调整为使用 包年包月计算资源 的资源配置推荐方案及效果推演，帮助您进一步优化计算成本...
2023年
新说明 使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行环境，以及提供部分场景下的解决方案。PyODPS DataFrame的代码运行...
PyODPS常见问题
问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not installed，如何解决？安装PyODPS时，提示Project Not Found，如何解决？安装PyODPS时，报错Syntax Error，如何解决？在Mac上安装PyODPS时，报错Permission Denied，如何...
Python SDK常见问题
问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not installed，如何解决？安装PyODPS时，提示Project Not Found，如何解决？安装PyODPS时，报错Syntax Error，如何解决？在Mac上安装PyODPS时，报错Permission Denied，如何...
基于Flink+Hologres搭建实时数仓
除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时分析的实时场景问题。传统离线数仓搭建的方法论比较明确，通过定时调度实现数仓分层（ODS->DWD->DWS->ADS）；但对于实时数仓的搭建，目前缺乏...
机器学习
轻量化程度高，面对复杂问题的解决方案选型时选择 云原生数据仓库AnalyticDB PostgreSQL版 即可，比如既要解决分类问题又要解决社交网络分析等问题时；计算有弹性，性能有保障，基于 云原生数据仓库AnalyticDB PostgreSQL版 云原生架构，...
创建EAIS实例
资源组是在阿里云账号下进行资源分组管理的一种机制，资源组能够帮助您解决单个云账号内的资源分组和授权管理的复杂性问题。如果您需要新的资源组，则您可以创建资源组后返回EAIS创建页面继续操作，具体操作，请参见 创建资源组。在 确认...
实例介绍
主实例 PolarDB-X 1.0 主实例专注于解决单机关系型数据库扩展性问题，用于处理实时高并发的在线事务业务。只读实例 PolarDB-X 1.0 只读实例是对主实例的补充，您可以将复杂SQL计算或有并发诉求的普通查询在只读实例上执行。通过物理资源...
什么是可信计算服务
C3S 产品解决了当前区块链在应用过程中面临的以下三大问题：区块链智能合约的计算能力亟待扩展 随着区块链业务场景的复杂度增加，仅通过区块链链上智能合约实现的逻辑极为有限，急需在保证数据隐私安全的前提下扩展链上的计算能力。...
应用场景
多源联合分析 该场景需要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，以及分库分表所带来的数据分析复杂性问题，让用户可以更专注于业务逻辑。该场景可实现：支持多数据源接入 支持数据库（RDS、PolarDB-X（原DRDS）、PolarDB...
石墨文档
本文以石墨文档为例，介绍如何借助函数计算毫秒级别的资源伸缩能力，解决计算资源扩容问题，降低服务器成本，提高工作效率。客户介绍 石墨文档 是中国第一款支持云端协作的企业办公服务软件，2014年成立至今，石墨文档已累计为超过20万家...
石墨文档
本文以石墨文档为例，介绍如何借助函数计算毫秒级别的资源伸缩能力，解决计算资源扩容问题，降低服务器成本，提高工作效率。客户介绍 石墨文档 是中国第一款支持云端协作的企业办公服务软件，2014年成立至今，石墨文档已累计为超过20万家...
什么是图计算服务
图计算服务Graph Compute是阿里云自主研发的高性能分布式图计算产品，为开发者提供万亿级数据规模的一站式图技术服务。Graph Compute支持复杂图关系数据的存储、查询和计算，高效对接图算法与模型，在搜索推荐广告、实时风控、知识图谱、...
- 产品推荐
- 这些文档可能帮助您