什么是数据库自治服务DAS

数据库是所有企业业务的基座,企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询,但是使用数据库的人员对数据库的了解程度参差不齐,所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...

MaxCompute数据

MaxCompute数据源作为数据中枢,为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务,从而通过上传、下载等方式同步该项目的数据。...

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量...

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量...

什么是数据管理DMS

DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,致力帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。视频介绍 功能特性 详情信息,请参见 功能概览。为什么选择数据管理DMS 全域数据...

数据变更最佳实践

批量和实时导入数据 批量导入:适用于大数据量导入的场景,导入过程中可以查询旧数据,导入操作完成后一键切换新数据。导入失败时,支持回滚新数据,不影响查询旧数据。例如,从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时,推荐...

什么是MaxCompute

MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效...

产品概述

产品描述 功能 描述 Dataphin全托管 Dataphin是集产品、技术、方法论一体的智能大数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。关于Dataphin的更多介绍,请参见 什么是...

SQL概述

MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言,其语法类似于标准SQL,但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...

面临的业务挑战

数据来源上包含数据数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据,各自又有不同的访问和分析方式,而大量传统企业基于关系数据库构建自己的业务系统,已经非常熟悉按SQL的方式去使用数据,这无疑...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

基于MaxCompute进行大数据BI分析

本实践以电商行业为例,通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理,并同步至分析型数据库MySQL(AnalyticDB for MySQL)进行实时分析,再通过Quick BI进行可视化展示。背景信息 MaxCompute:用于进行规模数据计算,详情...

自媒体:易撰

所属行业:自媒体 网站地址:易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商,其旗下知名品牌易撰,基于新媒体大数据挖掘技术及NLP算法分析,为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中,...

核心能力

数据资源平台提供了一站式数据资产定义、生产、管理与服务平台,提供企业级数据资产构建能力和一致性使用体验,助力客户快速构建数据智能平台,实现数据资源统一管理,挖掘潜在规律,优化业务决策,让大数据真正的驱动客户业务。...

典型场景

基于湖构建数据平台,支持BI、挖掘等业务 对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建...

应用场景

数据审计 智能解析数据库及大数据的通信流量,细粒度审计数据访问行为,通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警,为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据,...

数据分析概述

DataWorks提供的数据分析平台,可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中,您不仅可以在线洞察数据,还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB,Value 最大不超过 1 MB,过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务,有事务性要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

ETL工作流快速体验

GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版 基于GitHub Archive公开数据集,通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据,在DataStudio 数据开发 模块通过函数...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

Quick BI连接MaxCompute

MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI,对海量数据进行实时在线分析服务,同时支持拖拽式操作和丰富的可视化效果,帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...

基本概念

数据资产:数据资源平台中存在大量的数据表、标签、API等各类数据资产,数据管理者通过数据汇聚、数据治理、数据分析后,需要对整个平台数据进行统一管控,了解平台的核心数据资产,提供对应的数据资产管理规范。统一服务 应用:是调用API...

应用场景

数据传输服务DTS(Data Transmission Service)支持数据迁移、数据订阅和数据实时同步功能,帮助您实现多种典型应用场景。不停机迁移数据库 传输方式:数据迁移 为了保证数据的一致性,传统的迁移过程需要您在迁移数据时停止向源数据库写入...

MapReduce

自然语言处理:基于大数据的训练和预测。基于语料库构建单词同现矩阵,频繁项集数据挖掘、重复文档检测等。广告推荐:用户单击(CTR)和购买行为(CVR)预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...

常见问题

数据同步过程中,可以修改源表中的字段类型,目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改,并且只能将取值范围小的数据类型更改为取值范围大的数据类型,或者将单精度数据类型更改为双精度数据类型。整型数据类型:支持...

功能特性

计算 MaxCompute向用户提供了多种经典的分布式计算模型,提供TB、PB、EB级数据计算能力,能够更快速的解决用户海量数据计算问题,有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...

准备数据

同步速率 设置同步速率可以保护读取端数据库,以避免抽取速度过大,给源库造成太大的压力。同步速率建议限流,结合源库的配置,请合理配置抽取速率。错误记录数 错误记录数,表示脏数据的最大容忍条数。确认当前节点的配置无误后,单击左上...

支持的云服务

AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)是海量数据实时高并发在线分析(Realtime OLAP)云计算服务,与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘,产出高质量...

大数据安全治理的难点

风险评估的意义在于让组织的各业务方明确手头资产的风险所在,有利高层以此推动落地安全项目。通过风险评估后,组织还可以根据评估结果对不同风险采取差异化的应对策略:风险缓解(Risk Mitigation):部署安全防护,降低数据安全事件...

索引优化

在大部分传统的TP型数据库中,索引可以极大的提高数据的访问效率。但是在类似与 AnalyticDB PostgreSQL版 这样的分布式数据库中,应该谨慎的选择索引的使用。在大部分场景下,AnalyticDB PostgreSQL版 更适合快速的顺序扫描,或者结合稀疏...

管理过滤器

重要 过滤器调试功能可确保过滤代码的正确性,但不适用于数据量过大的情况。数据源和过滤器报错 数据源报错:在组件数据面板添加完过滤器后,如果将当前数据源切换成其他类型的数据源,会在错误信息处展示下面两个错误,提示用户数据接口有...

管理过滤器

重要 过滤器调试功能可确保过滤代码的正确性,但不适用于数据量过大的情况。数据源和过滤器报错 数据源报错:在组件数据面板添加完过滤器后,如果将当前数据源切换成其他类型的数据源,会在错误信息处展示下面两个错误,提示用户数据接口有...

管理过滤器

重要 过滤器调试功能可确保过滤代码的正确性,但不适用于数据量过大的情况。数据源和过滤器报错 数据源报错:在组件数据面板添加完数据过滤器后,如果将当前数据源切换成其他类型的数据源,会在数据面板展示下面两个错误,提示用户数据源...

详细功能介绍

重要 过滤器调试功能可确保过滤代码的正确性,但不适用于数据量过大的情况。数据源和过滤器报错 数据源报错:在资产数据面板添加完数据过滤器后,如果将当前数据源切换成其他类型的数据源,会在数据面板展示下面两个错误,提示用户数据源...

创建同步任务

限流:您可以通过限流控制同步速率,以保护读取端数据库,避免抽取速度过大,给源库造成太大的压力。限速最小配置为1MB/S。不限流:在不限流的情况下,任务将在所配置的并发数的限制基础上,提供现有硬件环境下最大的传输性能。说明 流量...

新建表

由于在 MySQL 模式和 Oracle 模式下分区的定义不同,因此以下信息在不同模式下的意义略有不同,请根据所选的分区方法按其定义指定以下信息:信息项 说明 分区方法 指定分区方法。MySQL 模式和 Oracle 模式下支持的分区方法不同。Range 分区...

通过脚本模式配置离线同步任务

当您需要实现更精细化的配置管理时,您可以使用脚本模式配置离线同步任务,通过编写数据同步的JSON脚本并结合DataWorks调度参数使用,将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用