应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
数仓规划概述
业务分类 当企业业务比较复杂，不同类型业务彼此间需要共享数据域，但是又希望能在模型设计和应用过程中快速定位本业务的数据时，您可结合真实业务情况，规划不同的业务分类，在后续建模的维度表和明细表中，将其关联到对应的业务分类中。...
选型指导
基于大数据开发实践，我们建议的选型为：序号 模块/用途 云服务 1 建模、数据清洗、任务调度等 机器学习PAI、大数据开发治理平台DataWorks、云原生大数据计算服务MaxCompute 2 模型存储 对象存储OSS 3 实时特征存储引擎 图计算GraphCompute...
应用场景
实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来实现。提供了Flink-Connector来支持Flink数据流的直接写入，并保证了exactly-once语义。此外，还支持Flink CDC来捕捉TP数据更新，并实时地将结果更新到StarRocks中。...
聚合支付：Ping+
解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿发展到2018年10个亿，业务规模发展迅速，急需对数据库进行拆库分表。目前Ping+目前采用两个 PolarDB-X 实例，每个 PolarDB-X 实例挂载4个RDS MySQL。其中...
案例介绍
业务中台系统覆盖整个零售体系的会员（人）与商品/库存（货），并且集中处理订单与营销内容。电商系统与门店系统分别对应线上零售与线下零售。ERP系统主要是用于供应链管理。规划数仓 规划业务板块。某公司实行的是事业部制，各事业部之间...
列存索引中TopK算子的实现
在没有索引的情况下，此类查询在数据库中是通过基于堆的经典TopK算法来实现的，逻辑如下：在内存中维护一个大小为K的堆，堆顶元素是最小的元素，将遍历到的数据与堆顶元素比较，如果比堆顶元素大，替换堆顶元素，并重建堆。遍历完数据后，...
功率时序曲线诊断
背景信息 数据服务提供 单站点检测 和 多站点排序 的功率时序曲线诊断算法，您可根据实际业务场景进行选择。类型 说明 应用场景 单站点检测 精准检测单个站点的发电效能。上传某电站的日内发电功率曲线，并结合日内的光照强度时序数据和...
配置脱敏模板和算法
数据安全中心（Data Security Center，简称DSC）支持配置脱敏模板和脱敏算法。您可以将使用频率较高且应用场景相同的脱敏算法配置在同一个脱敏模板中，并在配置静态脱敏规则时使用已有模板，提高配置脱敏规则的效率。本文介绍如何配置脱敏...
引用物理表质量规则
如果配置了质量规则的数据模型在开发环境场景画布中被引用，且场景画布中开启了自动质量规则校验开关，场景画布中会自动生成质量检测节点。当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求，可在物理...
适用场景
对于大部分业务而言，只要SQL语法、数据类型、事务、索引支持较为完整，且具备有效手段可在各种极端场景下进行水平扩展，那么对于高速发展的业务而言，PolarDB-X 1.0 即是所有分布式数据库中最具生命力及延续性的方案。按成本选择 对于数据...
操作指南
用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、...
自媒体：易撰
自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。...
添加DataWorks数据服务数据源
说明 获取 AppKey 和 AppSecret：在 DataWorks数据服务控制台 中，单击 服务管理API调用，可获取您的 AppKey 和 AppSecret。信息填写完成后，单击 确定，完成数据源的添加。新添加的数据源会自动显示在数据源列表中。使用DataWorks数据服务...
创建业务流程
创建业务流程 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建业务流程。在 新建业务流程 对话框中，输入 业务名称 和 ...
DataV读取数据源超时
解决方案 执行以下操作，通过优化查询时间的方式进行解决：使用SQL查询的业务数据表数量太大 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的...
分析业务过程
用户在业务系统中，通过埋点或日常积累的方式，获取了充足的业务数据。为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完...
面临的业务挑战
数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑...
分析业务过程
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
分析业务过程
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
X-Engine最佳实践
由于图片空间业务存储的图片元信息大部分为文本内容，特别是一些URL属性，非常适合X-Engine引擎中使用的前缀压缩算法。再结合X-Engine中的紧凑数据页和通用压缩算法。迁移到X-Engine引擎之后的图片空间业务，所使用的磁盘空间只有使用...
AIOps 解决方案专家服务内容说明
在方案设计中我们提供包括时序预测和根因分析、历史数据预测的3大类算法场景的设计，更多具体算法详见《10.1算法列表》《智能故障发现设计方案》3 定制化业务风险巡检方案设计 基于阿里云业务资源和技术能力，为企业定制化业务风险巡检能力...
手动续费（2.0版）
包月套餐数据库有到期时间，如果到期未续费，将导致业务中断甚至数据丢失，详情请参见 欠费或到期对数据库的影响。在包月套餐数据库未到期或者到期后7天内，您可以手动给数据库续费，延长数据库的使用时间。按量付费数据库没有到期时间，不...
内存型
企业级特性 企业级特性 说明 通过数据闪回按时间点恢复数据 开启Redis的数据闪回功能后，Redis最长可将AOF备份数据保留7天，在此期间您随时可以指定一个精确到秒的时间点，系统会基于所选时间点的备份数据创建一个新的实例，实现精确的数据...
IDMapping在离线一体化解决方案
2、提供中台级数据服务能力 基于阿里云大数据平台，提供中台数据架构的服务能力。首先，配合MaxCompute数仓，基于智能运维系统，将离线计算与在线实时计算结合落地的方案。其次，提供多种业务数据查询能力，可提供向量、倒排、复杂图查询，...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
新建补数据计划
在任务流中新建补数据计划 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，单击 图标，选择 任务流。在 任务流列表 中，单击目标任务流 操作 列的...
PolarDB for AI助力菜鸟实现一站式数据智能
解决方案 经过充分的调研和评估，此业务最终采用了DB4AI解决方案，使用PolarDB数据库MLOps能力来替换原有解决方案。PolarDB for AI拥有一系列MLOps和内置的模型，解决了数据、特征和模型的割裂状态，通过SQL来驱动数据、特征和模型，实现了...
工作原理
定时分析数据：文本分析中的算法以时间窗口为单位分析数据。结果输出：将分析结果输出到目标日志库中，并生成相应的仪表盘对分析结果进行可视化展示。基本概念 日志服务文本分析功能涉及的基本概念如下表所示。术语 说明 作业 一个文本分析...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
概述
背景信息 当前物联网行业中，算法开发没有统一的算法定义和开发规范，自主开发的成本高，是业务中的一大痛点。物联网边缘计算，为了提升用户算法开发和运维的效率，通过V（Version）系列边缘一体机提供算法应用和服务，支持在本地完成视频...
复购预测概述
复购预测将基于用户既往购买行为记录，通过训练算法模型，预测用户在未来指定时间内复购的可能性，找到大量非品牌原核心人群的高复购概率人群，为业务圈选外机会人群补充，继而针对这些高复购概率人群进行重点运营，提升品牌复购率。数据及...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
数据资产等级定义
本文为您介绍数据资产等级的定义，以及如何定义生产链路上的相关数据的资产等级...根据血缘往上追溯，将这几个表的上游都打上A2的标记，一直标记到源数据业务系统，如图所示。icmsDocProps={'productMethod':'created','language':'zh-CN',};
业务分类
如您所在的集团或公司业务复杂且较为庞大时，可创建业务分类，对数据进行业务区分，便于对业务数据进行更加方便的管理。本文为您介绍如何创建业务分类并关联数据域及管理数据集市。新建业务分类 进入智能数据建模页面。登录 DataWorks控制...
概述
Row-oriented AI NL2BI：用自然语言实时查看BI报表 典型解决方案 ID-Mapping在游戏领域的解决方案 通义千问大模型数据推理和交互 核心算法 LightGBM算法 DeepFM算法 K均值聚类算法（K-Means）随机森林回归算法（Random Forest Regression）...
IoT数据自动化同步至云端解决方案
下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行读取，详情请参见 OSS Reader。选择数据去向进行写入，本文以 MaxCompute...
什么是DataTrust
性能优越 DataTrust，生长于阿里数据中台实践，在解决大数据场景下有优越的性能，支持百亿级别的PSI、亿级别的SQL分析，千维联邦学习，隐匿信息查询秒级返回；智能化强 安全性和性能是隐私计算领域的两大挑战，想达到很高的安全性，性能...
新建及管理动态脱敏规则
动态脱敏是在不更改基础数据的情况下，仅改变最终展示的查询结果数据；脱敏规则用于管理脱敏的数据范围及具体的脱敏方式。本文为您介绍如何新建及管理动态脱敏规则。背景信息 动态脱敏规则常用于查询某些敏感的生产数据场景。对满足条件的...
- 产品推荐
- 这些文档可能帮助您