数据仓库研发规范概述

大数据时代,规范地进行数据资产管理已成为推动互联网、数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范,可以切实提高研发效率,保障数据研发工作有条不紊地运作。而不完善的研发流程,会...

方案背景

数据计算场景:推荐系统,订单类业务等 实时数据计算场景:监控系统,电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示,使用表格存储统一存储电商数据,通过Spark的流批处理离线聚合或实时统计电商数据,最终在...

什么是数据库自治服务DAS

数据库是所有企业业务的基座,企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询,但是使用数据库的人员对数据库的了解程度参差不齐,所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...

创建MaxCompute数据

创建完成后,可在DataWorks的各功能模块使用该数据源连接MaxCompute项目,进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买MaxCompute,详情请参见 开通MaxCompute。说明 建议购买MaxCompute的 地域 与创建MaxCompute数据源...

创建Hologres数据

创建完成后,可在DataWorks的各功能模块使用该数据源连接Hologres实例,进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买Hologres实例并创建数据库。操作详情请参见 购买Hologres、创建数据库。说明 建议购买Hologres实例时...

关联数据

为空表示该数据库下的所有表。字段 填写要添加的字段名。为空表示对应表下的所有字段。管理人员 人员功能帮您管理经常访问您数据库的企业内部人员信息。新增人员信息并使用应用身份识别功能(更多信息,请参见 应用身份识别)后,数据库...

元数据管理

元数据管理是构建数据湖重要一环,通过有效集中式的元数据管理,可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台,选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...

安全联邦学习-工作流FL

数据特征重叠较少的情况,例如某银行和某电商平台,分别拥有一部分客户数据,拥有的客户特征不一样,银行拥有客户的金融信用数据电商拥有客户的电商消费数据,期望联合两方数据训练精准营销模型,则适合使用纵向安全联邦学习。...

数据服务入门

开发数据服务API时,数据服务将访问该数据源获取数据表的Schema信息,帮助您进一步设置请求和返回参数。调用数据服务API时,数据服务将访问该数据源来执行查询请求。步骤二:创建API分组 数据服务基于API网关对外提供服务。在API网关中,...

配置数据

ClickHouse 支持 支持 配置ClickHouse数据源 说明 该数据源仅支持使用独享服务资源组,独享服务资源组使用详情请参见:新增和使用独享数据服务资源组。RDS 支持 支持 RDS包括MySQL、PostgreSQL和SQL Server PolarDB-X(DRDS)支持 支持 ...

轨迹层

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

路网轨迹层

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

引擎功能

高效时序存储技术 时序数据压缩 Lindorm时序引擎使用高效的数据压缩技术,将单个数据点的平均使用存储空间降为1~2个字节,可以降低90%存储使用空间,同时加快数据写入的速度。冷数据归档能力 Lindorm时序引擎支持将长期存储的冷数据归档到...

创建AnalyticDB for MySQL3.0数据

创建完成后,可在DataWorks的各功能模块使用该数据源连接AnalyticDB for MySQL3.0实例,进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买AnalyticDB for MySQL3.0实例并创建数据库,详情请参见 创建实例、创建数据库。说明 ...

在工作空间创建数据源或注册集群

步骤二:将数据源绑定至数据开发(DataStudio)数据源创建完成后,若您需在当前工作空间基于该数据源执行数据开发、数据分析、或使用运维中心周期性调度运行相关任务等操作,还需将数据源绑定至当前工作空间的数据开发(DataStudio)模块。...

创建AnalyticDB for PostgreSQL数据

创建完成后,可在DataWorks的各功能模块使用该数据源连接AnalyticDB for PostgreSQL实例,进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买AnalyticDB for PostgreSQL实例并创建数据库,详情请参见 创建实例、数据库管理。...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

创建并管理数据

若您想在DataWorks操作您的数据库或数据仓库(例如,MaxCompute项目数据),需先在DataWorks的数据源管理页面,将数据库或数据仓库创建为DataWorks的数据源,并将该数据源绑定至DataWorks相应的功能模块使用。例如,同步MaxCompute数据前,...

开发前准备:绑定数据源或集群

管理数据源:设置默认数据源:若同类型数据源存在多个,则可设置某个数据源为默认数据源,设置后,后续开发任务默认首选使用该数据源。说明 当同类型数据源仅存在一个,则该数据源即为默认数据源。解绑数据源:若某数据源无需用于数据建模...

创建ClickHouse数据

创建完成后,可在DataWorks的各功能模块使用该数据源连接ClickHouse集群,进行相应的数据同步、数据开发、数据分析等操作。前提条件 已创建ClickHouse集群。详情请参见 新建集群。说明 建议创建ClickHouse集群时,地域 与创建ClickHouse...

数据源权限管理

如果一个数据源仅被分享给自己,该数据源为私有模式,仅自己可以查看和使用该数据源。其他人即使具备数据源的控制权限,也无法查看该数据源。哪些用户能够收回数据源的分享权限?具备数据源权限管理权限的用户,能够在数据源 权限管理 的...

互联网、电商行业离线大数据分析

通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品,可以实现互联网、电商网站的离线数据分析,且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标...

概述

用户只需向DataHub服务中写入一次数据,并且在DataHub服务中配置数据同步功能,便可以在所支持的各个云产品中使用该数据,提供完整的数据闭环。DataHub支持云产品 注意:使用MaxCompute当batch数据量达到64M或者5min同步一次 使用...

混合存储型(已停售)

与 Redis社区版 不同,Tair 混合存储型整合了内存和磁盘二者的优势,在提供高速数据读写能力的同时满足了数据持久化的需求。说明 混合存储型已停止售卖,更多信息,请参见【通知】Redis混合存储型实例停止售卖。推荐选择 持久内存型 实例。...

大数据安全治理的难点

使用大数据系统的常见人员包括开发、运营、分析师,甚至销售及HR都会来查询自己所需的数据。如此多类型的用户,授权、管理难度加大,什么样的人员需要授予什么样的权限?如果他们离职、换部门了怎么办?这其中很有可能出现 权限蠕变、过度...

混合存储型(已停售)

云原生内存数据库Tair 混合存储型整合了内存和磁盘二者的优势,在提供高速数据读写能力的同时满足了数据持久化的需求。说明 混合存储型已停止售卖,更多信息,请参见【通知】混合存储型实例停止售卖,推荐选择 持久内存型 实例。简介 图 1....

数据建模:智能数据建模

智能数据建模是阿里云DataWorks自主研发的智能数据建模产品,沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践,包含数仓规划、数据标准、维度建模及数据指标四大模块,帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

功能简介

通过统一的数据资产目录,沉淀数据供给方生产的各类型数据,帮助数据使用者快速了解和获取业务需要的高质量数据资产,促进数据资产发挥更的业务价值。同时,通过查看数据资产全局血缘,清晰的了解数据资产的上下游关联。概览 对数据资产...

功能简介

通过统一的数据资产目录,沉淀数据供给方生产的各类型数据,帮助数据使用者快速了解和获取业务需要的高质量数据资产,促进数据资产发挥更的业务价值。同时,通过查看数据资产全局血缘,清晰的了解数据资产的上下游关联。概览 对数据资产...

电商网站智能推荐

电商网站智能推荐基于阿里巴巴的大数据和人工智能技术,结合在电商行业的多年积累,为开发者提供个性化推荐服务,提升商品的购买率和转化率。概述 本实践以电商网站为例,通过日志服务采集日志,将RDS作为后端数据服务、MaxCompute作为数据...

概述

DataWorks的安全中心,帮助您快速构建平台的数据内容、个人隐私等相关的安全能力,满足企业面向高风险场景的各类安全要求(例如,审计),无需您额外配置即可直接使用该功能。DataWorks的安全中心作为云上大数据体系的安全门户,致力于向您...

通过RAM角色授权模式配置数据

创建数据源后,开发人员可以进入 DataStudio(数据开发)页面,基于该数据源创建同步任务,详情请参见 配置同步任务。运行同步任务。任务执行者在DataStudio或运维中心页面,执行数据同步任务。说明 在 DataStudio(数据开发)运行任务时,...

构建SaaS平台的事件总线

如上图所示,链路中引入 事件总线EventBridge 可以加速ISVs创新,ISVs可以通过 事件总线EventBridge 以标准化的方式订阅阿里电商数据,为商家创造业务价值。相关文档 最IN的云原生架构,阿里云Serverless事件总线 EventBridge重磅发布

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

数据资产管理

数据资产管理通过统一的数据资产目录,沉淀数据供给方生产的各类型数据,帮助数据使用者快速了解和获取业务需要的高质量数据资产,促进数据资产发挥更的业务价值。同时,通过查看数据资产全局血缘,清晰的了解数据资产的上下游关联。前提...

功能简介

AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台,提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能,为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...

维度建模

英文缩写 主题域名称 所属数据集市 备注 ec360 电商360 电商集市-open_red 开门红 电商集市-rfd 退款 电商集市-lgt 物流 电商集市-flow 流量通道 电商集市-act 活动 电商集市-byr 买家 电商集市-brand 品牌 电商集市-cate 品类 电商集市-...

发现

通过统一的数据资产目录,沉淀数据供给方生产的各类型数据,帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营,帮助数据使用者快速了解和获取业务需要的高质量数据资产,促进数据资产发挥更的业务价值。...

风险识别管理(新版)

规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中规则。周一至周五:22:00~24:00。周六至周日:00:00~24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云原生大数据计算服务 MaxCompute 数据传输服务 智能推荐 AIRec 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用