应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
Hive数据脱敏
在Ranger UI配置页面的 emr-hive 页签，您可以对Hive数据进行脱敏处理：支持多种脱敏处理方式。例如，显示开始的4个字符、显示最后的4个字符或Hash处理等。配置Mask Policy时不支持通配符。例如Policy中Table或Column不能配置星号（*）。每...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
技术面临的挑战与革新
这种类型的架构好处显而易见，数据Sharding的方式让数据存取以及处理可以并行化，计算存储本地化最大化提升了数据读写的带宽以及延时。在过去网络IO还是一大瓶颈的年代，分布式系统设计以及优化的一大原则就是尽量使得计算存储本地化，避免...
数据处理
本文为您详细介绍GDB Automl数据导入的方法。操作步骤 数据导入。进入GDB Automl。在页面顶端，单击 数据，选择数据导入方式。说明 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件和压缩包文件）、从数据库SQL表导入。...
配置学区地图轮播列表交互
本文档为您介绍当单击 轮播列表 组件时，切换展示对应学校在地图上的位置信息和数据的...使用同样的方式配置 地图父组件定位缩放 的 串行数据处理 节点。当前处理方法的示例代码如下。return[{"lng":data.lng,"lat":data.lat,"zoom":13 }];
数据开发概述
数据处理：通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。即席查询：即主题式查询，面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响，基于逻辑模型从业务视角出发对外提供查询服务。双开发...
数据开发概述
数据处理：通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。即席查询：即主题式查询，面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响，基于逻辑模型从业务视角出发对外提供查询服务。双开发...
任务配置
其中，关键参数说明如下：处理方法：可选择“按时间段切割数据”或“按标签条件切割数据”。按时间段切割数据：选择后需设置时间轴对齐方式（绝对时间、相对时间）即通过指定绝对时间区间或相对时间区间，在选定数据集范围（名称匹配或上游...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
CREATE STREAM
数据流表仅支持新增数据，不支持更新数据和删除数据。本文介绍如何通过DDL语句创建流表。语法 CREATE STREAM[IF NOT EXISTS][catalog_name.][db_name.]stream_name({|<metadata_column_definition>}[,.n][][,.n])[COMMENT table_comment]...
Control Center基本使用
ksqlDB使用 ksqlDB是一个用于Apache kafka的流式SQL引擎，ksqlDB降低了进入流处理的门槛，提供了一个简单的、完全交互式的SQL接口，用于处理Kafka的数据，可以让我们在流数据上持续执行 SQL 查询，ksqlDB支持广泛的强大的流处理操作，包括...
如何处理Tair集群数据倾斜
产生倾斜原因 说明 处理方法 大Key 大Key通常以Key的大小和Key中成员的数量来综合判定。常见于在KKV（Key-key-value）类型的数据结构中，例如Hash、List、Set、Zset等，存放过多或过大的field，从而导致单个Key过大，产生实例数据倾斜。更...
实时数据消费概述
为您提供了一个强大的工具，用于结合流处理和批处理的数据分析。更多信息，请参见 实时数据源集成。使用场景 构建实时分析报表及其他实时分析应用。结合增量实时物化视图构建流批一体的实时数仓。在采用SQL方式写入数据（UPSERT或UPDATE）...
如何处理Redis集群数据倾斜
产生倾斜原因 说明 处理方法 大Key 大Key通常以Key的大小和Key中成员的数量来综合判定。常见于在KKV（Key-key-value）类型的数据结构中，例如Hash、List、Set、Zset等，存放过多或过大的field，从而导致单个Key过大，产生实例数据倾斜。更...
导入中特殊符号处理
\COPY数据导入 您在使用\COPY命令导入数据时，分隔符的使用方法和OSS高速并行导入时的使用方法一样，而对数据中出现特殊符号的处理方法也和OSS高速并行导入相类似。不同的是\COPY命令和 CREATE EXTERNAL TABLE 语句用法略有不同，\COPY命令...
RBAC授权
本文介绍如何在数据流服务Confluent控制台中进行RBAC授权。背景信息 RBAC的全称是Role Based Access Control。RBAC的授权方式是基于角色进行授权的，而ACL是基于权限进行授权。因此，RBAC比ACL更适合批量授权以及权限回收。RBAC授权主要有...
Kafka兼容说明
流引擎的流表兼容Kafka协议，支持通过开源Kafka客户端写入数据，也支持通过Kafka生态工具将MySQL、日志等数据投递至流引擎。本文介绍通过开源Kafka客户端将数据写入流表的操作步骤。操作步骤 获取流引擎连接地址。具体操作，请参见 查看...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
MaxCompute近实时增全量一体化架构介绍
数据库整库 实时同步写入 当前数据库系统与大数据处理引擎都有各自擅长的数据处理场景，面对一些复杂的业务需求，往往需要同时运用OLTP（联机事务处理）、OLAP（联机分析处理）及离线分析引擎来对数据进行全面且深入的分析与处理，因此数据...
数仓开发任务流
每个项目空间内可以创建多个业务场景，每个业务场景下又可添加多个任务流，用于实现复杂的数据处理和任务调度。前提条件 已创建项目空间。具体操作，请参见 创建项目空间。创建数仓开发任务流 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 ...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
“目标库对象数据存在性检查”产生警告
问题描述 在配置同步或迁移实例的 预检查 阶段，目标库对象数据存在性检查 出现警告，检查项的详情页面如下图所示：可能原因 DTS任务的目标端中的数据库或数据表有存量数据（例如目标Redis中用于接收数据的DB存在数据），且在 配置任务对象...
将时空数据写入宽表引擎
} } } 查询数据，通过以下方式查询数据流表和宽表的数据。通过流引擎SQL查询数据流表的数据。不使用时空函数查询，在数据流表中执行查询语句时会默认将时空数据转化为WKT格式，有关WKT格式的介绍请参见 空间数据类型。SELECT*FROM gps_data...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
使用Spark处理JindoFS上的数据
Spark处理JindoFS上的数据，主要有两种方式，一种是直接调用文件系统接口使用；一种是通过SparkSQL读取存在JindoFS的数据表。JindoFS配置 以EMR-3.35版本为例，创建名为 emr-jfs 的命名空间，相关配置参数示例如下：jfs.namespaces=emr-jfs...
常见问题
以下为您介绍实时同步数据至 AnalyticDB for MySQL 3.0操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
CREATE STREAM
创建一张数据流表，表示一个无界的事件集合。数据流表仅支持新增数据，不支持更新数据和删除数据。数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With...
数据服务概述
加工后的数据供应用读取 用户使用DMS数仓开发对数据进行加工汇总后，希望在应用中读取这部分加工后的数据进行业务处理，则可通过API的方式快速输出。当需要变更读取的逻辑时，只需要调整API的查询逻辑，而不需要重新发布应用。使用流程图 ...
数据防泄漏典型案例
常见数据泄露原因 在获得用户授权后，异常告警功能可检测以下类型的问题：内部数据泄漏 笔记本电脑和移动设备的丢失或失窃 敏感数据越权访问和存储 在职员工、待离职员工、合作伙伴、外包人员盗窃数据 员工外发、打印和复制敏感数据 意外...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
计费说明
本文介绍流数据处理Confluent的版本、计费项目和产品定价，帮助您快速了解计费详情，按需选择产品计费方式。版本介绍 流数据处理Confluent对外提供三个版本，不同版本提供的功能不同，价格也不相同，版本的功能如下：标准版 Standard 专业...
产品简介
什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache Kafka 的原始创建者构建，通过企业级功能扩展了 Kafka 的优势，同时消除了 ...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
产品架构
LindormStream内部包含流存储、流计算两大组件，通过两者的一体化部署和深度融合，支持流数据的高性能实时处理。其中，流存储负责消息日志数据的写入和订阅，兼容开源Kafka API，并且数据持久化存储在底层LDFS中，具备高吞吐、低成本、弹性...
账单数据订阅及查询分析
您可在用户中心订阅不同类型的账单数据，例如，计费项明细账单、计费项账单按天汇总等。订阅成功后，账单数据将会定时同步至MaxCompute，您...相关文档 大数据分析工具的常见问题和解决方法，详情请参见 大数据分析工具的常见问题和解决方法。
- 产品推荐
- 这些文档可能帮助您