客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
伯俊软件
所属行业：互联网、软件 网站地址：上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商，创立20余年，已为3000多家大中型企业提供数字化管理产品、解决方案、“业务+数据”中台、培训及专业的技术服务，客户覆盖零售、制造...
应用场景
可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS 中。大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的...
混合存储型（已停售）
实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很大的关系：实例规格越高，内存数据的访问比重越高，性能就越强。理想的场景中，所有的访问都命中内存，此时实例性能与Redis社区版实例基本一致；反之，在内存命中率...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
Contextual Bandit 算法
推荐系统中的数据循环问题 算法决定展示内容，展示内容影响用户行为，而用户行为反馈又会决定后续算法的学习，形成循环。在这种循环下，训练集和测试集与监督学习独立同分布的假设相去甚远，同时系统层面上缺乏有效探索机制的设计，可能...
规格及选型
多个实例间可实现数据共享，无需担心业务中台的发展和数据体系建设会造成数据孤岛；独立的实例可完全保证资源隔离；每个业务的使用情况也可以直接反映在账单上。案例八：构建数据开发平台 用户需要构建一个数据开发平台，期望减少开发过程...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
DataWorks交流钉钉群
说明 从2009年飞天大数据平台写下第一行代码开始，DataWorks历经10年发展，形成一套成熟的产品功能体系，满足企业数据中台搭建需求。在阿里巴巴内部，每天有数万数据、算法开发工程师正在使用DataWorks。您需要先单击 申请链接 加入“阿里...
产品简介
主要包括：大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、AI算法方案POC、AI标注人力服务等。阿里云大数据专家服务在金融、电商、...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
时序异常检测
异常检测算法在检测过程中持续学习时序数据的特征（例如数据趋势或者周期），从而完成对新插入时序点的检测。例如新插入的时序数据有一个非常大的尖刺，检测结果可能为异常。时序异常检测搭配 SAMPLE BY 语句可以实现以下功能：搭配 SAMPLE...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
水印使用限制
数据源嵌入水印时有以下使用限制。...在数据安全中心控制台配置任务，将A表中的数据嵌入水印后写到B表，不会修改A表数据，仅影响写入B表的数据。嵌入水印后的数据有一部分会与原始值不同。支持空格算法和最低有效位算法。
使用Simple存储策略
背景信息 时空数据具有个体大、总量大的特点，Ganos中的栅格、轨迹、点云等数据类型往往需要采用专业的压缩算法压缩后再存入数据库表中，而当前数据库提供的存储策略只支持固定简单的压缩算法，或者不压缩直接存储至外表，将导致时空数据...
使用Simple存储策略
背景信息 时空数据具有个体大、总量大的特点，Ganos中的栅格、轨迹、点云等数据类型往往需要采用专业的压缩算法压缩后再存入数据库表中，而当前数据库提供的存储策略只支持固定简单的压缩算法，或者不压缩直接存储至外表，将导致时空数据...
新零售：特步
业务架构 客户价值 基于 PolarDB-X+RDS的分布式数据库解决方案+业务中台提升客户数据链路的时效性以及客户业务系统的吞吐能力，使订单、库存、商品、销售的数据能实时从业务端到业务中台再到报表系统做销售业务决策。基于 PolarDB-X+RDS的...
规划工作空间
大型数仓，企业数仓公共层，数据中台。优点 工作空间成员与组织架构一致，人员组成最稳定，数据安全性最高。同时计算、存储成本归属清晰。工作空间内业务专一，人员可根据业务动态调整，数据链路清晰，易运维。数据架构清晰，共享便利，...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
管理数据库
创建RDS MariaDB实例后，您需要在实例中创建与您业务相关的数据库。RDS MariaDB支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个...
时序异常检测
数据服务提供时序异常检测算法，采用智能时序算法，实时分析设备时序数据，准确感知设备异常现象。查看基本信息 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例卡片。在左侧导航栏，选择 数据服务>数据智能。在算法模板列表中...
算法说明
流式分解算法 流式分解算法基于RobustSTL系列模型中的原理进行研发，可对数据流进行批处理但计算成本更高，适合小规模业务指标数据的精确巡检。大规模数据场景下，建议您拆分数据或使用流式图算法。更多信息，请参见 RobustSTL:A Robust ...
使用创建反向任务功能
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...
IDaaS 的数据安全规则
敏感数据脱敏 在控制台中，用户的很多数据都是敏感数据，如：姓名，性别，年龄，证件号码等。为了保障用户隐私数据的安全，防止信息外泄，可以在此开启敏感数据脱敏，仅指定拥有查看敏感数据权限的人可以查看未脱敏数据。 通过控制台进行...
管理数据库
创建RDS MySQL实例后，您需要在实例中创建与您业务相关的数据库。RDS MySQL支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库...
划分数据域
数据域 业务过程 会员店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、单击 交易域 下单、支付、发货、确认收货 服务域 商品收藏、拜访、培训、优惠券领用 采购域 商品采购、供应链管理
划分数据域
例如A公司电商营销业务板块可以划分为如下数据域，数据域中每一部分都是实际业务过程经过归纳抽象之后得出的。数据域 业务过程 会员店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、点击 交易域 下...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
应用场景
物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据有助于进行设备监控、业务分析预测和故障诊断。背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算...
X-Engine最佳实践
由于X-Engine分层存储的架构特点，该引擎特别适合某些业务负载特征的业务，本文介绍X-Engine的典型应用业务场景。X-Engine的分层存储架构特别适合具有如下业务负载特征的业务：数据访问具有鲜明的时间特征。例如大部分读取及修改操作集中在...
配置脱敏模板和算法
数据安全中心（Data Security Center，简称DSC）支持配置脱敏模板和脱敏算法。您可以将使用频率较高且应用场景相同的脱敏算法配置在同一个脱敏模板中，并在配置静态脱敏规则时使用已有模板，提高配置脱敏规则的效率。本文介绍如何配置脱敏...
维度建模
以上示意图引用自阿里巴巴数据技术及产品部《大数据之路：阿里巴巴大数据实践》。实验预期：本文操作结果 预期的分层划域，下图中从下到上数仓分层，从左到右划分数据域。这里您仅需了解一下概貌，后面会一步一步配置，蓝色字体为本实验中...
受众与核心能力
产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员 从事数据应用开发的开发人员 把控公司核心数据资产的管理人员 核心能力 基于DataWorks，您可以获得如下...
添加业务实时监控服务ARMS数据源（已下线）
本文档为您介绍在DataV中添加实时监控服务ARMS数据源的方法，以及相关参数配置说明。业务实时监控服务（Application Real-Time Monitoring Service，简称ARMS）是一款APM类的监控产品。用户可基于ARMS的前端、应用和自定义监控功能，快速...
添加业务实时监控服务ARMS数据源（已下线）
本文档为您介绍在DataV中添加实时监控服务ARMS数据源的方法，以及相关参数配置说明。业务实时监控服务（Application Real-Time Monitoring Service，简称ARMS）是一款APM类的监控产品。用户可基于ARMS的前端、应用和自定义监控功能，快速...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
IDMapping在离线一体化解决方案
2、提供中台级数据服务能力 基于阿里云大数据平台，提供中台数据架构的服务能力。首先，配合MaxCompute数仓，基于智能运维系统，将离线计算与在线实时计算结合落地的方案。其次，提供多种业务数据查询能力，可提供向量、倒排、复杂图查询，...
自媒体：易撰
自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
- 产品推荐
- 这些文档可能帮助您