技术发展趋势

传统大数据技术可以满足此类需求,但其发散的技术栈,不统一的使用习惯,都难以在广大企业内落地使用。因此急需统一、标准化的技术解决方案。数据加速上云 Gartner预测到2023年,所有数据库中75%将放在云平台上。企业机构正在云中部署新的...

亿海蓝-航运大数据的可视化案例

——亿海蓝CTO 客户简介 亿海蓝是中国的航运数据公司,做为中国最大的AIS数据服务运营商,发展目标是通过大数据技术推动全球航运物流与互联网的融合,加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务,客户涵盖港口...

准备数据源和计算源

准备数据源 Dataphin支持对接的数据包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型及操作指导,请参见 Dataphin支持的数据源。重要 确定业务数据源类型后,在Dataphin创建...

准备数据源和计算源

准备数据源 Dataphin支持对接的数据包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型及操作指导,请参见 Dataphin支持的数据源。重要 确定业务数据源类型后,在Dataphin创建...

数据源管理概述

功能介绍 多数据源类型接入:Dataphin内置丰富的数据源类型,支持对接的数据包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息,请参见 Dataphin支持的数据源。自定义数据源类型:在内置的...

数据源管理概述

功能介绍 多数据源类型接入:Dataphin内置丰富的数据源类型,支持对接的数据包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息,请参见 Dataphin支持的数据源。自定义数据源类型:在内置的...

Dataphin支持的数据

背景信息 Dataphin支持对接的数据包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。...

安全白皮书概述

Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力,包括产品、技术和方法论等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...

操作指南

一、数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要,提前或者在问题发生时购买数据专家服务,服务项包含大数据技术架构方案咨询、数据解决方案POC、数据搬站迁云方案咨询、跨地域迁移支持服务、数据专家高阶...

某网约车公司车辆轨迹数据

随着车辆数量的快速增长,每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过,将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车,车辆数量在快速增长,每辆车每分钟...

数据组织优化

Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入,高流量场景下可能会导致增量小文件数量膨胀,从而引发存储访问压力、成本高,并且大量的小文件还会引发meta更新以及分析执行慢,数据读写IO效率低下等问题,...

快速体验

技术选型 数据建模:数据开发治理平台 DataWorks数据建模(可选),标准版及以上版本可使用,需要单独购买。原始数据存储:云数据库 RDS MySQL(必选),本实验中DataWorks为您提供了阿里云RDS MySQL用于测试,包含了测试数据,无需您...

后续指引

介绍:数据迁移 实践:数据迁移最佳实践 常见问题数据上传下载常见问题 规模数据迁移 MaxCompute提供MMA(MaxCompute Migration Assist)迁移工具支撑规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本,为您介绍各...

大数据用户画像解决方案

进入互联网,特别是移动互联网时代,用户随时随地都会在...多维度&复杂查询:原生全局二级索引、Lindorm Search满足多维度查询需求 方案详情&专家服务 解决方案详情参见:基于Lindorm的大数据用户画像解决方案 任何问题,欢迎联系 技术支持。

管理问题数据

支持保留问题数据的规则列表与问题数据口径 目前支持保留问题数据的监控规则,及各规则问题数据的定义,详情请参见:附录:支持保留问题数据的规则列表与问题数据口径。注意事项 目前仅MaxCompute表支持配置保留问题数据功能。目前仅部分...

Transaction Table2.0概述

随着当前数据处理业务场景日趋复杂,很多业务场景并不要求延时秒级更新可见或者行级更新,更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景,MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...

常见问题

如何理解开源与云原生的大数据技术与产品?MaxCompute作为数据平台,对业务数据是否有好的监控手段?MaxCompute的项目发挥什么作用?如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret?现有账号的AccessKey被禁用,创建一个新的...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

2020年

2020年10月 修复用默认参数构建矢量金字塔点数据后,顶级瓦片数据量过问题。2020年10月 V1.1.4 内核小版本 类别 名称 描述 相关文档 发布时间 新增 ali_decoding插件 支持ali_decoding插件,用于数据库间增量同步DML语句。无 2020年9月...

通过整库迁移配置集成任务

离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据大数据计算服务,包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...

DataWorks on EMR数据安全方案

大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

数据标准

数据是由特定的环境产生的,这些环境因素包括生产者、时间、系统等,从而造成了同一个语义的数据,有多种不同的定义方法,给后期进行数据汇集和整合带来障碍。因此,数据处理的前奏就是数据标准化,数据标准作为一个统一的数据共识,在标准...

典型场景

基于湖构建数据平台,支持BI、挖掘等业务 对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建...

计费项

常见问题什么没有传输数据的按量付费实例还在收费?按量付费的DTS实例在增量任务运行期间,将按照实际资源使用情况进行计费,与源端数据是否发生变更无关。建议您在完成数据传输后,尽快结束或释放实例。具体操作,请参见 结束DTS实例 ...

数据迁移与同步FAQ

本文为您列出数据迁移与数据同步的常见问题和相关解答。什么数据迁移、数据同步?DTS的数据迁移与数据同步工作原理是什么?DTS的数据迁移与数据同步有什么区别?使用DTS遇到预检查报错,如何解决?什么数据迁移、数据同步?数据迁移:...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

DescribeColumns-查询数据资产表中列的数据

调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看,便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

常见问题

本文介绍大数据专家服务常见问题。1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好:如果您准备购买阿里云大数据专家服务,但是遇到如服务范围、规格、服务选择等售前方面的问题,您可以通过钉钉与我们联系,您将“当面”获得阿里云...

创建GreenPlum数据

通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎,作用于分析、机器学习和AI等领域。其架构主要针对管理规模分析...

创建Hudi数据

背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。更多信息,请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...

使用执行计划分析查询

诊断结果 单击执行计划树中某个Stage(如 Stage[1]),即可在右侧查看对应Stage的 诊断结果 详情,包括如下两类诊断:Stage诊断:这类诊断结果包含了对目标Stage诊断结果的详细说明,包括诊断出的问题(如存在较数据量被广播或数据倾斜...

什么是MaxCompute

MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效...

数据变更最佳实践

批量和实时导入数据 批量导入:适用于大数据量导入的场景,导入过程中可以查询旧数据,导入操作完成后一键切换新数据。导入失败时,支持回滚新数据,不影响查询旧数据。例如,从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时,推荐...

交叉透视表

数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含数据字段。也可以修改 数据类型,灵活配置组件数据数据映射 当您需要自定义图表字段配置时,可以在 数据映射 模块设置不同的字段映射内容,将这些...

数据分析概述

进入 数据分析 首页,页面包含以下两个区域:快捷入口:在 快捷入口 区域,单击对应图标进入 SQL查询、电子表格、数据上传 等模块进行数据分析操作。最近编辑:在 最近编辑 区域,可以查看最近编辑的文件,单击文件名打开文件进行后续操作...

数据集成

数据源支持情况 数据集成目前支持40种以上的数据源类型(包括关系型数据库、非结构化存储、大数据存储、消息队列等),通过定义来源与去向数据源,并使用数据集成提供的数据抽取插件(Reader)、数据写入插件(Writer),实现任意结构化、...

新建TDengine数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。配置 集群配置 区域的参数。参数 描述 ...

新建TDengine数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。配置 集群配置 区域的参数。参数 描述 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据库备份 云数据库 RDS 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用