Spark Connector
背景信息 使用Spark引擎调用MaxCompute的Storage API处理MaxCompute数据，满足您数据开放、多引擎使用场景，同时Spark结合MaxCompute的数据存储能力，可以实现高效、灵活和强大的数据处理和分析能力。阿里云提供了Spark Connector来简化...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
网商银行
业务挑战 网商银行将普惠金融作为自身的使命，目标是利用互联网的技术、数据和渠道创新，构筑“分布式云生态”的架构体系，为未来的架构可持续演进奠定基础，帮助解决小微企业融资难融资贵、农村金融服务匮乏等问题，促进实体经济发展。...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
HDFS概述
HDFS适用于大规模数据的分布式读写，特别是读多写少的场景。特性 E-MapReduce集群中HDFS的优势如下：具有高容错性和高可扩展性。提供Shell命令接口。提供Web可视化组件管理界面，方便管理。拥有类似于Linux的文件权限管理。Locality感知，...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
EMR Studio概述
能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等开源大数据开发使用体验。覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 ...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
应用场景
此场景方案支持异构环境，也使得用户能以低成本、开放式平台分担昂贵库或遗留库的压力。同时可以集中/合并多个应用的数据，从而实现统一查询/统一报表。场景四：异地容灾 由于地区断电、断网等客观原因，产品可用性并不能达到 100%。当出现...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
产品整体介绍
云原生数据仓库AnalyticDB PostgreSQL版 提供PB级数据实时交互式分析、ETL/ELT、BI报表展示功能，支持数据高吞吐实时写入与批量导入，提供ACID保证和标准事务隔离级别，采用MPP全并行架构，是一款具有高性价比的云原生数仓产品，提供基于...
南京银行
解决方案 2017 年，南京银行引入蚂蚁集团金融级分布式交易架构能力——分布式架构 SOFAStack、分布式数据库 OceanBase，以及大数据平台能力，构建新的互联网金融核心，并于同年 11 月上线互联网金融平台“鑫云+”。客户价值 新平台开创“1+...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
如何支持超大事务
在分布式数据库中，超大事务一般满足以下条件中的一个或多个：事务修改的数据涉及多个分片；事务修改的数据量比较大；事务执行的SQL语句比较多。下面通过以下场景的测试，以这三个维度为切入点，介绍 PolarDB-X 对超大事务的支持情况。测试...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
表指标
指标项 含义 文档个数 表数据的文档个数 每秒请求成功次数 表数据每秒请求成功的次数 每秒请求失败次数 表数据每秒请求失败的次数 请求耗时 请求表数据所耗费的时间 查询节点 点击 指标监控->表指标->查询节点，可查看查询节点的监控数据...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
创新专区介绍
创新专区基于阿里云人工智能技术，自动生成各类创意内容，能够帮助创作者快速且大规模地创作文本和图像类型的内容，包括但不限于独特的动漫角色、富有创意的文字视觉效果以及风格各异的图文内容，广泛应用于多元化的业务场景。服务开通 请...
发展历程
中国数字化转型与创新案例大会：年度大数据创新产品奖。国家大数据博览会十佳产品：最佳案例实践奖。2017年 TPC的benchmark适配MaxCompute，进行了全球首次基于公共云的BigBench大数据基准测试，数据规模拓展到100 TB，成为首个突破7000分...
规格计算器
QC：基于量化聚类的向量检索算法，召回结果正确率极高，占用资源较少，性能较好，在低维度向量数据集上有更好表现,内存及储存占用一般只有Linear和HNSW的1/4,适用于对召回率没有严苛要求的大数据量检索场景。Linear：线性检索，即暴力检索...
典型客户案例
解决方案 2017 年，南京银行引入蚂蚁金服（去掉）金融级分布式交易架构能力——分布式架构 SOFAStack、分布式数据库 OceanBase，以及大数据平台能力，构建新的互联网金融核心，并于同年 11 月上线互联网金融平台“鑫云+”。客户收益“鑫云+...
高性能检索版介绍
高性能检索版简介 OpenSearch-高性能检索版 是基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台，在大数据场景下实现千亿数据毫秒级响应，提供订单、物流、保单等场景检索方案。OpenSearch-高性能检索版架构 ...
行业趋势与背景
分布式数据库是发展方向 近年来，随着互联网、大数据的飞速发展，特别是“双十一”指数型的成交总额发展曲线，让世界看到了中国电子商务业务的火箭式发展势头。而同时，对于背后的业务支撑系统来说，同样经历了火箭式的系统压力增长。以...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
功能简介
数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建平台，实现低代码、可视化构建全场景专家模型，重塑大数据服务创新模式。将业务数据沉淀为智能数据或智能算子，通过可视化的拖拉拽和简单的图形化条件设定进行模型编排，...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
- 产品推荐
- 这些文档可能帮助您