什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
用户洞察概述
帮助您进行消费者运营：数据源接入：提供多种（AnalyticDB MySQL 2.0、AnalyticDB MySQL 3.0、AnalyticDB PostgreSQL）的数据源的对接能力，用户可以基于此连接自己的消费者数据集，并基于产品内置的规则构建消费者运营模型（AIPL/RMF模型...
概述
先导入部分数据，再建列存索引，继续导数据，这个场景除了有增量同步链路，Columnar节点会同时消费已有的全量数据，增量和全量并行消费，提速列存构建的效率。从层次结构方面来看，列存引擎节点采用Delta+Main（类LSM结构）二层模型，采用...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
队列服务订阅推送
在不同的消费者组间，数据会并列地推送给每一个存在的消费者，举例来看：如果您的多个消费者在同一个组内，您可以观察到数据会在这些消费者之间进行均衡地分发，消费者会收到不同的数据。如果您的多个消费者在多个不同的组内，您可以观察到...
新增消费组
一个消费组只能创建一个消费者（consumer），并通过该消费者执行数据消费。若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 进入 新版DTS订阅任务的列表页面。在页面左上角，选择订阅实例所属地域。定位至目标的订阅...
新增消费组
一个消费组只能创建一个消费者（consumer），并通过该消费者执行数据消费。若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据订阅。在 数据订阅列表 页面上方，选择订阅...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
零售电商数据建模
零售电子商务行业模型模板已经导入主题域，如下图所示，以“消费者”主题域为例，消费者主题域重点服务行业运营人员关于消费者画像的分析需求，归属于行业集市。后续在创建应用层派生指标、创建应用层模型时需要关联到对应主题域中。构建...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
深度解析Lindorm搜索索引（SearchIndex）特性
同步高效率 LTS内部通过高并发的生产者/消费者模式，支持快速消化大量的数据，一份WAL只需要读取一次。并且支持横向扩展，新加入的节点可以快速加入到同步链路中，加速索引数据的同步。WAL保序 通过隐藏的时间戳属性，保证在宽表中先写入的...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
大数据用户画像解决方案
用户画像数据具有如下特征：数据量大、高并发读写、明细数据需要归档、大数据量回流、有动态列需求、查询种类多而且复杂。方案总览 作为面向大数据场景的半结构化、结构化存储系统，Lindorm可以很好的满足用户画像：没有强事务要求，大数据...
什么是Quick Tracking
产品简介 全域采集与增长分析(Quick Tracking)是阿里云推出的企业级流量统计分析产品，提供APP/小程序/H5/Web/IoT等数字应用终端的行为采集分析、私域标签画像、性能体验监控、隐私采集授权管理等数据采集与洞察服务，助力企业实现全域数据...
通过Pull模式创建数据订阅通道
本文介绍通过Pull模式创建数据订阅功能，创建后订阅通道会实时拉取数据库实例的增量数据，并将增量数据保存在订阅通道中，您可以使用Lindorm提供的SDK从订阅通道中订阅增量数据并进行消费。同时，您可以在LTS页面进行订阅通道的创建、查看...
基本概念（V4）
用户属性与 ID Mapping 配合使用，帮助您构建跨来源渠道的用户基础信息体系，为用户画像提供依据。用户画像 用户画像是指根据用户的属性、标签、偏好、行为记录、购买记录、营销记录等信息抽象出来的标签化用户模型。在 用户360 页面，我们...
计算设置概述
亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB Transwarp ArgoDB是星环科技的分布式分析性数据库。说明 星环ArgoDB不支持智能研发版。设置Dataphin实例的计算引擎为TDH或ArgoDB 星环...
Kafka数据源
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
数据集概述
在数据源模块中配置好所需数据源后，基于产品内置的消费者运营模型，您可以完成企业一方用户标签数据集、行为数据集等的创建，为后续的洞察圈选、营销投放功能提供数据基础。支持创建以下数据集：用户标签数据集：基于用户标签大宽表构建...
Kafka数据迁移MaxCompute最佳实践
kafka-console-producer.sh-broker-list emr-header-1:9092-topic testkafka 您可以同时再打开一个SSH窗口，执行如下命令，模拟消费者验证数据是否已成功写入Kafka。当数据写入成功时，您可以看到已写入的数据。kafka-console-consumer.sh-...
Kafka数据迁移MaxCompute最佳实践
kafka-console-producer.sh-broker-list emr-header-1:9092-topic testkafka 您可以同时再打开一个SSH窗口，执行如下命令，模拟消费者验证数据是否已成功写入Kafka。当数据写入成功时，您可以看到已写入的数据。kafka-console-consumer.sh-...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
案例介绍
数据域 维度 消费者域 消费者、性别、年龄层、职业等 商品域 商品、类目 门店域 门店 供应链域 供应商、仓库、承运商 确定业务过程 通常，业务分析只需要关注业务活动的关键节点，这些关键节点可以设置为业务过程（如果后面业务需要，可以...
通过RAM角色授权模式配置数据源
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
应用场景
全域营销场景 业务需求：品牌需要建立全域消费者数据资产体系，以便进行全域消费者运营。解决方案：与品牌数据银行能力深度融合，实现分别在阿里云及生态内为客户提供服务，并实现品牌一方数据、平台二方数据的一键高效互通互用，全面提能...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高...在一些需要应用大量数据对用户行为进行分析的场景中，可以通过整合多种数据来源，存储用户行为数据，构建用户画像，实时存储在Cassandra中，提供大数据风控、推荐等服务。
应用场景
Databricks数据洞察（简称DDI）的核心引擎是Databricks Runtime和Databricks Delta ...实时数仓 利用Databricks Delta Lake的ACID事务特性，可以构建云上大数据的实时数仓。icmsDocProps={'productMethod':'created','language':'zh-CN',};
客户案例
解决方案 友盟+联合MaxCompute构建开发者数据银行，为企业提供面向分析的、实现友盟域数据与企业私域数据全面融合的自助分析服务“U-DOP数据开放”。该服务通过订阅数据包返还数据到MaxCompute，预置分析模板并结合可视化分析BI工具来快速...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、...，帮助用户构建和持续优化的大数据体系架构...
EMR Studio概述
EMR Studio作为一款云上产品，支持与数据湖构建（DLF）和对象存储（OSS）等云上产品对接，构建云原生大数据产品架构。您可以在创建EMR Studio时指定OSS bucket路径，EMR Studio将自动备份作业代码和作业日志，并可以通过该路径提交Airflow ...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
聚水潭：云原生数据仓库助力企业实现商业洞察
本文介绍聚水潭通过引入 AnalyticDB PostgreSQL版 构建企业级云原生数据仓库，解决业务需求过大、资源弹性扩展难等问题。客户介绍 上海聚水潭网络科技有限公司成立于2014年，是一家从事SaaS ERP应用服务研发且拥有完全自主知识产权的软件...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
同步 OceanBase 数据库的数据至 RocketMQ
是否允许消息追踪 如果允许消息追踪，则可以追踪到一条消息从生产者发送到消息队列 RocketMQ 版服务端，再到消费者消费处理，整个过程中的各个相关节点的时间、状态等数据汇聚而成的完整项目信息。该消息轨迹可以作为生产环境中排查问题强...
资产安全概述
Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者隐私数据）三种数据分类；同时也支持客户根据企业情况进行自定义分级。识别规则 识别规则是自动化识别敏感字段的策略。因为在实际的生产过程中...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
资产安全概述
Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者隐私数据）三种数据分类；同时也支持客户根据企业情况进行自定义分级。识别规则 识别规则是自动化识别敏感字段的策略。因为在实际的生产过程中...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
- 产品推荐
- 这些文档可能帮助您