大数据会-大数据会文档介绍内容-阿里云

Quick BI 助力深圳光明环境水务公司举办水务数据应用...

Quick BI 助力深圳光明环境水务公司举办水务<em>数据</em>应用...

Quick BI 数据专家受邀出席大会并带来“大数据BI分析体系实践思考”的精彩分享。在数字化经济的大潮中，企业的数字化转型已成为提高业务效率、增强市场竞争力的必由之路。Quick BI 作为一款功能强大的BI工具，不仅帮助企业实现了数据的在线...

发展历程

深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...

为什么迁移过程中RDS的空间大小会比源数据库大？

因为DTS进行的是逻辑迁移方式，它是将迁移数据封装成SQL后，同步到目标RDS实例中的，此时会在目标RDS实例中产生binlog数据，所以迁移过程中，RDS的空间大小可能比源数据库大。

Quick BI的即席分析拖入字段会触发计算，数据量大的...

概述本文主要描述了Quick BI的即席分析拖入字段会触发计算，数据量大的情况下需要等待很久，如何将各个字段配置完以后再触发计算的方法。详细信息可以先切换到模型，将字段都拖拽好以后。再切换到数据，这样就只有一次取数了。适用于 ...

什么是DataWorks

中国国际大数据产业博览会十佳大数据案例中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测学习路径您可以通过DataWorks文档首页的学习路径，快速了解DataWorks的相关概念、基础操作及进阶操作...

LTS（原BDS）服务介绍

在线离线业务分离通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...

LTS（原BDS）服务介绍

在线离线业务分离通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...

数据服务入门

选择数据表后，选择参数区域会自动显示该表的所有字段，您可根据需要选择相应字段作为API的请求参数和返回参数。若需对字段进行排序，则可将目标字段添加至排序字段区域，进行相应调整。本文示例请求参数为 uid，返回参数为该表的所有...

离线同步并发和限流之间的关系

限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...

配置跨库Spark SQL节点

大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...

Vertica数据源

Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024

DM（达梦）数据源

DM（达梦）数据源作为数据中枢，为您提供读取和写入DM数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DM数据同步的能力支持情况。...但是该值设置过大可能会造成数据集成运行进程OOM情况。否 1024

GBase8a数据源

GBase8a数据源为您提供读取和写入GBase8a双向通道的功能，本文为您介绍DataWorks的GBase8a数据同步的能力支持情况。使用限制目前Gbase8a Reader和Gbase8a Writer仅支持使用 ...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024

DB2数据源

由于主备数据同步存在一定的时间差，特别在网络延迟等情况下，会导致备库同步恢复的数据不是一份当前时间的完整镜像，与主库有较大差别。一致性约束 DB2在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询接口。例如，一次同步...

PostgreSQL数据源

当PostgreSQL中表名称、字段名称是以数字开头，或者名称中包含大小写英文字母、中划线（-）时需要使用双引号（""）进行转义，不进行转义会导致PostgreSQL插件读取或写入PostgreSQL数据失败。但是在PostgreSQL Reader和Writer插件中，双引号...

AnalyticDB for PostgreSQL数据源

AnalyticDB for PostgreSQL数据源提供读取和写入AnalyticDB for PostgreSQL的双向功能，本文为您介绍DataWorks的AnalyticDB for PostgreSQL数据同步的能力支持情况。...但是该值设置过大可能会造成数据集成运行进程OOM情况。否 1,024

ClickHouse数据源

ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本支持阿里云ClickHouse的20.8、21.8内核...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024

SQL Server数据源

SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。...该驱动支持的SQL Server版本如下所示：版本支持性...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024

应用场景

随着数据恢复时间的增加，造成的损失也会越大。数据库备份DBS提供的应急恢复功能，将自动获取备份集并合成快照点，可按需在短时间内恢复出（即创建）一个新的DBS沙箱实例。您可以在DBS沙箱功能中快速恢复独立的DBS沙箱实例（即数据库实例）...

离线同步任务调优

附录：同步速度不同数据源的并发读写速度会有很大的差异。下文为您介绍典型数据源在独享资源组中，单并发的同步速度：不同数据源的Writer插件对应的单并发平均速度 Writer 单并发平均速度（KB/s）AnalyticDB for PostgreSQL 147.8 ...

Oracle数据源

由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...

产品简介

大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...

应用场景

应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统通过数据总线，您可以实时接...大数据实时化数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。

操作指南

一、大数据专家服务流程指南二、服务流程说明用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...

什么是EMR on ACK

阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...

索引优化

大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...

应用场景

访问频度极高业务如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

数据归档概述

源数据会缓存在本地临时表中，如遇特殊情况，可以迅速恢复。如何查询已归档的数据支持在DMS控制台查询已归档的数据。支持通过对应的数据库引擎查询已归档数据。指定归档位置需要指定归档实例。不需要指定归档的库表。系统会自动根据源库...

ECS实例说明

大数据型使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型使用本地...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

查询结果不符合预期的常见原因

在执行写入操作时，数据会被先写入预写日志（Write-Ahead-Log，WAL）中，再写入数据库。只要写入过程中没有出现报错，相应的数据一定会写入成功，即使遇到机器宕机等情况，都可以通过恢复WAL的方式恢复数据，保障数据的持久性，不会出现...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库本场景推荐的架构如下。适用行业：全行业...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

产品简介

开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

从RDS MySQL迁移至自建Kafka

Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...

导入数据

数据查询提供数据导入功能，可将数据直接进行导入，并且提供快速预览和一键...Update：在主键相同的情况下，后导入的数据会覆盖前面导入的数据，但未映射字段不会更新。单击确定，等待数据导入，在弹出对话框单击确定，等待数据导入成功。

Redis企业版实例间的双向同步

为避免该情况发生，建议将目标库的数据逐出策略设置为 noeviction，当目标库内存不足时，数据会写入失败，同时任务也会失败，但目标库不会因为数据逐出而丢失数据。说明关于数据逐出策略详情，请参见 Redis数据逐出策略介绍。如果源库中的...

大数据 会

新品推荐

大数据会