产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

什么是DataWorks

产品架构 DataWorks十多年沉淀数百项核心能力,通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六全链路数据治理的能力,帮助企业治理内部不断上涨数据悬河”,释放企业的数据生产力。...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

数据分析整体趋势

市场趋势 数据规模高速增长(全球2010-2025年复合增长达到27%,中国则大于30%)带来了强劲的数据分析需求。据Gartner统计,到2025年实时数据占比达30%,其中非结构数据占比达80%,同时数据存储云上规模达45%,而云上数据库规模可达75%。从...

数据集成概述

背景信息 面对各行各业对数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

备份集查询功能概览

DBS备份数据查询功能,可以在不恢复备份数据的情况下,直接查询云存储中备份集的数据。背景信息 传统的备份数据查询有两种方式:将备份数据文件导入至数据库,再通过数据库操作对数据进行查询,但是这种方式耗费时间长,且可能会导致数据...

概述

业务挑战 部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库,随着业务数据的增长,业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...

应用场景

数据审计 智能解析数据库及数据的通信流量,细粒度审计数据访问行为,通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警,为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据,...

冷热分层

其中冷数据的数据量较,很少被访问,甚至整个生命周期都不会被访问。冷热数据的区分方式如下:按照数据的创建时间:通常,数据写入初期,用户的关注度较高且访问频繁,此时的数据为热数据。但随着时间的推移,旧数据访问频率会越来越低,...

应用场景

MongoDB提供二级索引功能满足动态查询的需求,利用MongoDB的map-reduce聚合框架进行多维度的数据分析。其他各领域应用 游戏应用:使用云数据库MongoDB作为游戏服务器的数据库存储用户信息。用户的游戏装备、积分等直接以内嵌文档的形式存储...

创建GreenPlum数据

数据源配置 选择需要配置的数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类打标,如何创建标签,请参见 ...

应用场景

数据通道:通过BDS构建云HBase与异构计算系统的高效、易用的数据链路。快速导入:通过BulkLoad将海量数据快速导入HBase,效率比传统方式提升一个数量级。高并发:水平扩展至千万级QPS。弹性:存储计算分离架构,支持独立伸缩,自动化扩容。...

大数据AI公共数据集分析

本教程通过DataWorks,联合云原生数据计算服务MaxCompute,使用数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等公共数据),指导您如何快速进行数据分析,快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...

数据仓库研发规范概述

大数据时代,规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范,可以切实提高研发效率,保障数据研发工作有条不紊地运作。而不完善的研发流程,会...

ActionTrail日志清洗

DLA提供ActionTrail日志自动清洗解决方案,可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表,同时自动对数据进行分区和压缩,方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...

数据集成概述

背景信息 面对各行各业对数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

创建MaxCompute数据

如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Flink_SQL任务开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...

主备方案介绍

A:存储的是数据D1和数据D2中时间戳更大的数据数据在LTS同步过程中不会改变数据原有的时间戳,一般情况下存储的是数据D2,但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小,在这种情况下存储的...

创建Impala数据

使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成,因此性能相较于Hive较差,若您集成的表为非Kudu表,您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时,才支持使用DLF获取元数据。...

创建Hudi数据

同步到Hive的数据库名称:填写同步到Hive的数据库名称。单击 确定,完成Hudi数据源的创建。重要 创建Hudi数据源时不支持测试数据源是否可以和Dataphin进行正常的连通,因此需要您确保连接信息的正确性。您可根据 网络连通解决方案 自行排查...

新建TDengine数据

如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...

数据分析概述

DataWorks提供的数据分析平台,可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中,您不仅可以在线洞察数据,还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...

配置DataHub输出组件

配置DataHub输出组件,可以将外部数据库中读取数据写入到DataHub,或从大数据平台对接的存储系统中将数据复制推送至DataHub,进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作,请参见...

新建TDengine数据

如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Flink_SQL任务开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

数据质量保障原则

一致性 一致性通常体现在跨度很大的数据仓库中。例如,某公司有很多业务数仓分支,对于同一份数据,在不同的数仓分支中必须保证一致性。例如,从在线业务库加工到数据仓库,再到各个数据应用节点,用户ID必须保持同一种类型,且长度也要...

新建Doris数据

如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Flink_SQL任务开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...

JindoFS实战演示

视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎,主要服务于云原生场景下的数据密集型应用,例如数据应用...

OSS数据安全防护最佳实践

您可以使用 DSC 内置算法规则,或根据其行业特点自定义规则,对其存储在OSS中的数据进行整体扫描、分类、分级,并根据结果做进一步的安全防护,如利用OSS的访问控制和加密功能等。数据脱敏 数据进行对外交换供用户分析或使用时,未进行脱敏...

ETL工作流快速体验

案例提供的数据仅用于阿里云数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色,请参见 空间级模块权限管控。导入ETL工作流模板 您可以将DataWorks ETL工作流模板...

Quick BI连接MaxCompute

背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台,可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具,更是数据化运营的助推器。更多Quick BI信息,请参见 Quick ...

创建Hologres数据

在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中,您需要先创建Hologres数据源。本文为您介绍如何新建Hologres数据源。背景信息 Hologres即阿里云交互式分析Hologres,是阿里巴巴自主研发的一款交互式分析...

基本概念

任务运维 任务流:由数据同步节点、离线计算任务节点、流式计算任务节点、自定义计算节点等组成的数据加工或算法服务工作流。业务类型:提交任务流的来源,包括数据同步、数据开发、标签加工、标签同步等。任务类型:提交任务流的来源,...

DataWorks On CDP/CDH使用说明

环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足 CDP或CDH 基本的数据上云、数据开发与调度生产、简单的数据治理工作,若需获取更专业的数据治理、数据安全解决方案,可选择相应的 标准版、专业版、企业版 ...

数据组织优化

Level0到Level1主要针对原始写入的DeltaFile(图中蓝色数据文件)合并为中等大小的DeltaFile(图中黄色数据文件),当中等大小的DeltaFile达到一定规模后,会进一步触发Level1到Level2的合并,生成更大的DeltaFile(图中橙色数据文件)。...

配置跨库Spark SQL节点

任务编排中的跨库Spark SQL节点,主要针对各类跨库数据同步和数据加工场景,您可以通过编写Spark SQL,完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、...

冷热分离

背景信息 在海量大数据场景下,一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,降低这部分数据的存储成本将会极大的节省企业的成本。因此,如何以极简的...

数据集成概述

数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步:支持且仅支持结构化(例如RDS、DRDS等)、半结构化、无结构化(OSS、TXT等,要求具体同步...

添加数据源概述

本文档为您介绍DataV支持的所有数据源,帮助您选择合适的数据源进行大屏项目的开发。进入 DataV控制台,单击 我的数据,可以对接入的数据源进行统一管理。DataV支持以下数据源的接入。数据源类型 数据源 说明 数据库类 说明 如果您在其它...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 数据库备份 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用