东软案例

在运维过程中,用户通过实时监控仪表盘、统计分析报表或风险定位、检测工具对接Lindorm多模引擎海量数据检索、分析能力,来满足不同应用场景的运维大数据信息提取需要。图 3.东软新型IT智能运维系统部署方案 适用场景 实时状态大屏展现。...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...

如何恢复误删除的数据

详细信息 恢复大量数据方法 恢复MySQL数据 恢复SQL Server数据 恢复PostgreSQL数据 恢复MariaDB数据 恢复少量数据方法 阿里云的 数据管理(DMS)提供的数据追踪功能可以逐条恢复数据,且会自动生成回滚语句,便于少量数据的恢复。详细信息...

阶段一:基础防护建设

例如:《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...

敏感数据保护

生产环境敏感数据写入开发环境脱敏 当因为测试需要等原因,需要将生产环境的数据写入开发环境时,为了保护敏感数据不泄露数据在写入的过程中,就会自动按照配置的脱敏规则脱敏,从而保证敏感数据不会流入开发环境。敏感数据的数据集成加...

DataWorks On EMR使用说明

背景信息 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

数据分析整体趋势

大数据数据库一体化:早期大数据技术以牺牲一定程度一致性为基础提供分布式能力,解决了传统单机数据库的扩展性不足问题,在MapReduce基础上提供了标准SQL接口,架构上也逐步采用了部分MPP数据库技术;另一方面,分布式数据库也快速发展...

敏感数据掩码

配置敏感数据掩码可以防止审计到的日志信息中包含敏感数据信息,使用掩码可以防止敏感信息在查询审计日志时泄露。本文介绍如何对审计到的客户敏感数据(例如:身份证号、银行卡号等)添加掩码“*”后再呈现。登录云盾数据库审计系统。具体...

DataWorks模块使用说明

使用流程概览:参考文档:数据集成概述 数据建模与开发 子模块:数据建模 功能说明:数据建模是全链路数据治理的第一步,沉淀阿里巴巴数据中台建模方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中,...

受众与核心能力

产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者,打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台,即可实现数据...

数据集成支持的数据

离线集成支持的数据数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...

数据导入概览

从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块,可以获取您提供的.csv格式的OSS数据文件,并将其解析为图中的点数据和边数据,然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...

数据脱敏

脱敏算法能够有效地保护敏感数据的安全性,避免信息泄露,同时保留数据的格式和结构,以便于查询和使用。识别规则:在数据脱敏功能中,使用规则来自动识别数据库中的敏感数据。扫描添加敏感列时,会通过添加的识别规则自动识别匹配的敏感列...

用户价值

数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台,提供企业级数据资产构建能力和一致性使用体验,助力客户快速构建数据智能平台,实现数据资源统一管理,挖掘潜在规律,优化业务决策,让大数据真正的驱动客户业务。...

数据保护规则简介

noneAccess:被保护数据全遮掩,不泄露任何原始数据信息。用户不具备访问数据内容的权限。默认所有用户初始化为该权限。当显式配置时,可以撤销已授权用户访问数据的权限。fullAccess:用户可访问所有被保护数据。完全明文操作,服务端返回...

典型场景

典型场景 数据仓库服务 您可以通过数据传输服务(DTS)或数据集成服务(DataX),将云数据库(例如RDS、PolarDB)或自建数据库批量同步到 云原生数据仓库AnalyticDB PostgreSQL版。云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行...

JindoFS实战演示

使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法,你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS,以及在迁移...

数据

数据库备份场景下,有4个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为:购买时选择的存储...

数据变更最佳实践

批量和实时导入数据 批量导入:适用于大数据量导入的场景,导入过程中可以查询旧数据,导入操作完成后一键切换新数据。导入失败时,支持回滚新数据,不影响查询旧数据。例如,从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时,推荐...

功能优势

当您的数据库中有数据需要被保护时,可以使用RDS MySQL全密态数据库功能,该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全,使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势,帮助您...

添加数据

DataV数据集支持多种数据源的接入,如数据库、excel表格文件等,通过对数据的结构化存储和元数据的汇集整理,...创建并保存完成后的数据集会自动排列显示在 数据集管理 页面中,每一个保存的数据集后面都会自动显示数据集内的数据信息数量。

产品概述

产品描述 功能 描述 Dataphin全托管 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。关于Dataphin的更多介绍,请参见 什么是...

新建数据

相关操作 在数据源添加成功后,在 数据源管理 页面,可对数据源进行以下操作:操作 说明 查看数据源详情 在数据源列表,单击目标数据源 操作 列的 更多,选择 查看详情,查看数据源的基本信息数据对象的表结构信息。编辑数据源 在数据源...

新建数据

相关操作 在数据源添加成功后,在 数据源管理 页面,可对数据源进行以下操作:操作 说明 查看数据源详情 在数据源列表,单击目标数据源 操作 列的 更多,选择 查看详情,查看数据源的基本信息数据对象的表结构信息。编辑数据源 在数据源...

DataWorks On Hologres使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

新建数据

数据元管理通过分析业务流程,抽象关键业务对象和业务对象属性,并把关键业务对象新建为数据元,并配置数据元的类型、长度、质量校验函数和引用数据字典,为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...

新建数据

数据元管理通过分析业务流程,抽象关键业务对象和业务对象属性,并把关键业务对象新建为数据元,并配置数据元的类型、长度、质量校验函数和引用数据字典,为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...

数据脱敏

通过配置数据脱敏规则,您可以脱敏审计日志中的银行卡号、手机号码、身份证号等敏感信息,防止在SQL语句或返回结果中泄漏敏感数据。本文介绍如何配置数据脱敏规则。背景信息 数据库审计系统提供10条内置的数据脱敏规则,并默认启用所有内置...

新建数据字典

数据字典管理支持创建并维护数据模型中使用的数据字典,制定并管理平台遵循的统一数据标准,为数据元、指标、维度的值域设置中引用数据字典提供数据基础,帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...

新建数据字典

数据字典管理支持创建并维护数据模型中使用的数据字典,制定并管理平台遵循的统一数据标准,为数据元、指标、维度的值域设置中引用数据字典提供数据基础,帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...

数据服务

背景信息 数据服务提供了数据中台建设过程中的数据服务化能力,面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力;面向数据资产管理者提供服务的统计分析、服务用量统计分析,实现数据中台...

步骤二:规划数仓

数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前,需要完成数据仓库的规划,包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...

使用DMS和DG管理本地或第三方云数据库

阿里云数据库网关DG(Database Gateway)支持在不暴露公网IP的前提下,将本地自建或第三方云厂商的数据库与阿里云服务连接起来,避免使用公网IP连接的安全风险。您可以通过数据库网关将本地或第三方云数据库录入DMS进行管理。背景信息 将...

数据标准概述

Dataphin支持创建并管理数据标准,以保障数据的标准化生产与管理,节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 数据库备份 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用