概念建模概述
同时有利于数据消费者更好理解数据和数据对应的业务。本文为您介绍Dataphin数仓规划中概念模型的基本概念，包含主题域、实体关系图等，以便于您更好地理解和使用Dataphin进行数仓规划。背景信息 在建设数据中台的流程中，一般的首要任务是...
概念建模概述
同时有利于数据消费者更好理解数据和数据对应的业务。本文为您介绍Dataphin数仓规划中概念模型的基本概念，包含主题域、实体关系图等，以便于您更好地理解和使用Dataphin进行数仓规划。背景信息 在建设数据中台的流程中，一般的首要任务是...
新增消费组
一个消费组只能创建一个消费者（consumer），并通过该消费者执行数据消费。若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 进入 新版DTS订阅任务的列表页面。在页面左上角，选择订阅实例所属地域。定位至目标的订阅...
新增消费组
一个消费组只能创建一个消费者（consumer），并通过该消费者执行数据消费。若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据订阅。在 数据订阅列表 页面上方，选择订阅...
通过Pull模式创建数据订阅通道
本文介绍通过Pull模式创建数据订阅功能，创建后订阅通道会实时拉取数据库实例的增量数据，并将增量数据保存在订阅通道中，您可以使用Lindorm提供的SDK从订阅通道中订阅增量数据并进行消费。同时，您可以在LTS页面进行订阅通道的创建、查看...
Kafka数据迁移MaxCompute最佳实践
kafka-console-producer.sh-broker-list emr-header-1:9092-topic testkafka 您可以同时再打开一个SSH窗口，执行如下命令，模拟消费者验证数据是否已成功写入Kafka。当数据写入成功时，您可以看到已写入的数据。kafka-console-consumer.sh-...
Kafka数据迁移MaxCompute最佳实践
kafka-console-producer.sh-broker-list emr-header-1:9092-topic testkafka 您可以同时再打开一个SSH窗口，执行如下命令，模拟消费者验证数据是否已成功写入Kafka。当数据写入成功时，您可以看到已写入的数据。kafka-console-consumer.sh-...
通过RAM角色授权模式配置数据源
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
云数据库 RDS MySQL 版收集表的统计信息
概述 本文介绍云数据库 RDS MySQL 版如何收集表的统计信息。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改...
选型配置说明
广泛用于日志收集和监控数据聚合等场景，支持离线或流式数据处理以及实时数据分析等。Flink、Kafka、YARN OLAP 数据分析场景，其中核心组件ClickHouse是一个面向联机分析处理（OLAP）的开源的面向列式存储的DBMS，与Hadoop和Spark相比，...
队列服务订阅推送
在不同的消费者组间，数据会并列地推送给每一个存在的消费者，举例来看：如果您的多个消费者在同一个组内，您可以观察到数据会在这些消费者之间进行均衡地分发，消费者会收到不同的数据。如果您的多个消费者在多个不同的组内，您可以观察到...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
JindoFS实战演示
Flume高效写入OSS Flume高效写入OSS 2021-06-01 Flume是一个分布式、可靠、高可用的系统，支持从不同数据源高效地收集、聚合、迁移大量日志数据，聚合到中心化的数据存储服务，被广泛用于日志收集场景中。由于OSS本身不支持Flush功能，而...
什么是MaxCompute
随着数据收集手段不断丰富，行业数据大量积累，数据规模已增长到了传统软件行业无法承载的海量数据（TB、PB、EB）级别。MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决...
从RDS MySQL迁移至自建Kafka
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
逻辑解码概念
每一个槽有自己的状态，允许不同的消费者从该数据库的更改流中的不同点开始接收更改。对于大多数应用，每一个消费者都将要求一个单独的槽。逻辑复制槽完全不知道接收者的状态。甚至可能会有多个不同的接收者在不同时间使用同一个槽，它们将...
2021年
2021-11-23 全部地域 清空分区数据 MaxCompute集成网易有数BI工具（商业化）发布 MaxCompute集成网易有数BI无缝对接，支持网易有数BI对MaxCompute直连场景下BI分析，同时可以支持可视化配置数据缓存时长，对数据进行缓存，以提高数据查询...
性能调优
AnalyticDB MySQL 数仓版（3.0）集群才默认开启的，所以当集群内核版本从3.1.6以下版本升级到3.1.6及以上版本时，会触发一次全量数据的统计信息收集，导致集群内核版本完成升级后的一段时间内统计信息收集的工作量较大，CPU负载较高，完成...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
优化器（Analyze）
数据膨胀：当两个表Join key的ndv都比行数小很多时，证明数据大量重复，大概率存在数据膨胀，优化器可以采取相关措施来规避数据膨胀带来的问题。数据过滤：当小表的ndv比大表小很多时，说明执行JOIN操作后，大表的数据会被大量过滤。优化器...
SLS Indexing Service
SLS Indexing Service是E-MapReduce推出的一个Druid插件，用于从日志服务（Log Service，简称SLS）消费数据。背景介绍 SLS Indexing Service优点如下：极为便捷的数据采集，可以利用SLS的多种数据采集方式实时将数据导入SLS。无需额外维护...
DataWorks数据服务对接DataV最佳实践
当今社会数据收集的方式不断丰富，行业数据大量积累，导致数据规模已增长到传统软件行业无法承载的海量级别。MaxCompute服务于批量结构化数据的存储和计算，已经连续多年稳定支撑阿里巴巴全部的离线分析业务。过去，如果您想要通过DataV...
专题广场
专题广场概述 通过资产专题，您可以打造面向主题的精品数据资产管理和消费生态，帮助数据生产者和消费者实现高效协作。此外，您还可以设置精选专题，精选专题常用于管理质量较高、可直接消费的核心资产。权限说明 每个用户可在专题广场查看...
专题广场
专题广场概述 通过资产专题，您可以打造面向主题的精品数据资产管理和消费生态，帮助数据生产者和消费者实现高效协作。此外，您还可以设置精选专题，精选专题常用于管理质量较高、可直接消费的核心资产。权限说明 每个用户可在专题广场查看...
元表和字段资产详情
⑤ 使用说明 您可为数据表添加使用说明，为数据浏览者和消费者提供信息参考。单击 新增使用说明 进行添加。⑥ 资产信息 为您展示物理表的 基础信息、物理信息 和 使用信息 等详细信息。基础信息：包括环境、专题目录、项目、表类型、最高...
元表和字段资产详情
⑤ 使用说明 您可为数据表添加使用说明，为数据浏览者和消费者提供信息参考。单击 新增使用说明 进行添加。⑥ 资产信息 为您展示物理表的 基础信息、物理信息 和 使用信息 等详细信息。基础信息：包括环境、专题目录、项目、表类型、最高...
Kafka数据源
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据订阅SDK容灾
这个机制依赖于SDK消费数据时，向DTS中控节点实时汇报消费时间点。本小节简单介绍如何使用DTS提供的SDK容灾机制。要求 SDK消费代码中，每消费一个message要调用一次ackAsConsumed，向DTS汇报消费时间点。同一个订阅通道至少启动2个SDK下游...
SDK重新运行后不能成功订阅数据
因此如果上次SDK退出时最后一条消费数据的时间点对应的数据，不在当前订阅通道中，就不能订阅到这个消费位点对应的数据。解决方案 为了修复这个问题，在启动SDK之前，需要先修改消费位点，使消费位点在数据范围内，具体的修改方法详见文档 ...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
Github实时数据同步与分析
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
- 产品推荐
- 这些文档可能帮助您