应用场景
1.2 收益 系统解耦 对外，大数据系统与业务系统解耦，对内，大数据系统各组件之间解耦。实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过...
技术面临的挑战与革新
分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库系统需要处理大量的并发事务，为了保证并发事务能够尽可能高效的并发执行而又互不干扰，发展出若干种技术，比如多版本并发处理(MVCC)，乐观并发处理(OCC)...
产品简介
大数据搬站迁云方案咨询 为客户提供原大数据系统上云迁移方案咨询服务，包括云上大数据搬站架构规划、设计迁云方案服务。大数据专家高阶培训 提供针对大数据建设、管理、治理相关的高阶能力培训，涵盖离线/实时数仓体系建设管理、数仓建模...
Napatech案例
云原生多模数据库 Lindorm 助力Napatech大幅提升存储、索引性能。生态合作伙伴介绍 Napatech公司（OSE：NAPA.OL）是一家提供FPGA解决方案的丹麦公司，成立于2003年。公司总部位于丹麦，销售和支持的...集成第三方大数据系统，助力业务分析。
功能概览
1.4 生态融合 系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据...
什么是数据库自治服务DAS
数据库的问题排查和性能优化一直都是数据库领域的专业问题，但是即使最专业的DBA在面对一些问题的时候，也往往耗费了很长时间，但是仍然无法定位到根因，主要的难点有三个：获取信息难，问题诊断和性能优化都需要依赖于大量的系统数据，...
客户案例
而 OceanBase 提供的丰富的分区方式及 OLAP 能力有效地解决了不同场景下，业务指标的构建问题，这对于我们业务开发工作者来说可以更多的关注我需要什么样的指标，而不用考虑如何从存储系统中得到这些数据。大数据处理能力：随着阿里巴巴...
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与ClickHouse的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
概述
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...
IoT数据自动化同步至云端解决方案
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
大数据安全治理的难点
同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理难点。数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
保险行业解决方案与案例
与此同时国寿数据应用全面进入实时化，通过DTS将 PolarDB PostgreSQL版（兼容Oracle）实时变化的数据同步到KAFKA平台，下游业务系统和大数据平台通过数据订阅以满足监管报送等各种场景；通过上线前完整兼容性评估，上线过程中全量SQL回归压...
典型使用场景
而接合LindormStreams+Blink/Spark，可以构建出一套完整的实时数据系统：应用解耦-实时同步到消息队列 通常业务发生之后，应用系统产生的数据需要被其他应用使用或根据这个事件驱动其他应用的业务逻辑，应用之间一般通过消息队列进行消息...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
常见问题
为什么系统表system.materialize_mysql中sync_failed_tables字段不为空？如何处理报错：“Too many partitions for single INSERT block(more than 100)”？数据写入与查询 如何处理insert into select XXX内存超限报错？如何查询CPU使用量...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
C100售后支持相关问题
您需要连通RDS或ECS实例与数据库审计系统之间的网络，即可将不同地域、不同VPC网络、不同账号中的服务器接入数据库审计系统进行审计。示例一，您在一个阿里云账号下有10多台服务器，分别在华北1（青岛）、华北2（北京）、华北3（张家口）三...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
按时间戳冷热分离
如果有大量请求需要去查询冷数据，则需要考虑当前 COLD_BOUNDARY 设置的值是否会导致系统查询的冷数据过多进而影响查询效率。如果一行数据已经在冷存储，但这行数据后续有更新，更新的字段会先保存在热存储。如果此时设置 HOT_ONLY 或 ...
简介
HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，...
常见问题
Q：数据什么时候进入冷存储？A：Lindorm通过 compaction 机制异步将冷数据从热存储归档至冷存储，系统触发时间默认为冷热分界线的一半，最小为1天，最大为 major compaction 周期的一半，major compaction 周期默认为20天。例如，冷热分界...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
DataWorks V3.0
E-MapReduce：E-MapReduce（Elastic MapReduce，简称EMR）构建在阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统（例如Hive），来分析和处理自己的数据的大数据...
C100售前支持相关问题
自建数据库接入数据库审计需要满足什么条件？自建数据库可以和数据库审计实例实现网络连通。如果是第三方云厂商或线下数据库需要连通公网，或通过专线等实现和数据库审计实例的网络连通。部署在阿里云上的数据库可以通过内网和数据库审计...
常见问题
MaxCompute的用户经常咨询和关注的一些问题如下：使用MaxCompute需要具备什么专业技能？如何理解开源与云原生的大数据技术与产品？MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
数据服务集群
图片、视频、网页等中对象，物联网的时序数据和车联网的空间数据等需要支持海量数据和较高写入性的数据存储场景。DataServing基于读写延迟低，并发高等特点，支持Feed流场景。技术架构 EMR HBase目前支持两种架构，一种是传统的基于HDFS存...
功能概述
从安全视角来看，云数据库能防护安全威胁，其安全性由弱到强可分为以下几个阶梯（阶梯越高，安全性越强）：常规云数据库服务：基于云安全服务，能够 拦截绝大部分外部攻击，但仍然需要信任数据库实例内的操作系统、数据库软件、IaaS运维...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
东软案例
企业面向客户、合作伙伴和内部员工建设IT系统及应用复杂度和数量会随着产品智能、互联化的深入持续增长，对映可用性保障运维监控采集数据采集种类，以及需要存储的数据量同步激增，现有监控系统基于RRD数据库或关系数据库搭建的单模引擎的...
查询报错问题
errorCode=65541,errorName=NO_NODES_AVAILABLE,errorType=INTERNAL_ERROR,errorLocation=null,failureInfo=mpp.client.FailureInfo@13887b2e} 一般是数据库内部某个计算节点压力较大导致该节点暂时离线，系统能够自动修复。请用户过5~10...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
产品概述
从安全视角，云数据库能防护的安全威胁，安全性由弱到强可分为以下几个安全分级阶梯（阶梯越高，安全性越强）：常规云数据库服务：基于云安全服务，能够 拦截绝大部分外部攻击，但仍然需要信任数据库集群内的操作系统、数据库软件、IaaS运...
- 产品推荐
- 这些文档可能帮助您