客户案例

基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率,构建大润发的数据中台体系。新金融行业:某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的,同时引入的数据中台...

概述

背景信息 在大数据生态系统中,Alluxio位于数据驱动框架或应用(例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等)和各种持久化存储系统(例如HDFS和阿里云OSS)之间,使得上层的计算应用可以通过统一的客户端API和...

2023年

使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移,包括两种使用场景:同云账号内不同Region...

新零售:特步

解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线,通过垂直拆分剥离各业务中心,使不同类型的业务数据可以存储在不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性。通过这套架构...

Github实时数据同步与分析

本文以使用DataWorks实时同步公共数据至Hologres,并通过Hologres进行实时数据分析为例,为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤,您也可以使用付费资源,操作类似。教程...

什么是DataWorks

世界500强亿滋中国:通过DataWorks智能数据建模进行链路的数据模型治理,极提升数据中台的自服务能⼒,让企业数据决策实现下放,释放新零售的数字化力量。上市公司创梦天地:基于开源的EMR引擎,用DataWorks替换自研调度系统,企业内部...

DataWorks On EMR使用说明

开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是链路数据治理的第一步,沉淀阿里巴巴数据中台建模方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行诠释,让企业内部实现“数...

常见问题

本文介绍使用数据迁移工具ossimport的常见问题及解决方法。通用说明 本文提到的所有涉及ossimport的命令均为简写,实际操作时,需补命令。Windows系统需加上 console.bat 进行补,例如 submit 实际为 console.bat submit。Linux系统...

基本概念

DTS 数据传输服务(Data Transmission Service,简称DTS)支持关系型数据库(RDBMS)、非关系型数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,帮助您构建安全、可扩展、高可用的...

接入JVM监控数据(新版)

Java Virtual Machine(JVM)提供多项监控指标,您可以将JVM的监控指标接入到栈可观测应用,进行可视化展示。前提条件 已创建栈可观测实例。具体操作,请参见 创建实例。已在服务器上安装Java 1.7或以上版本。基本原理 Java ...

PolarDB PostgreSQL版(兼容Oracle)间的迁移

由于数据迁移会并发执行INSERT操作,导致目标数据库的表产生碎片,因此量迁移完成后目标数据库的表存储空间会比源实例的表存储空间。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...

常见问题

支持的数据库部署位置(接入方式)阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...

什么是MaxCompute

MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效...

备份数据库

数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例,向您介绍如何备份数据库。说明 关于各类数据库备份方案,请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源,请参见 手动...

常见问题

本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性?购买实例时,推荐选择哪一个版本?单双副本实例各有什么特点?购买链路资源时显示“当前区域资源不足”,应该如何...

产品优势

本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口,支持宽表、时序、对象、文本、队列、空间等多种数据模型,适用于日志、账单、...

文档修订记录

QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块,提供了便捷的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎进行分析处理及相关管理操作,致力于为您...

功能特性

BI工具对接 数据传输迁移 MaxCompute提供多种渠道,以便从业务系统或外部数据源写入数据到MaxCompute,或者从MaxCompute写出数据到外部系统或外部数据源。功能集 功能 功能描述 参考文档 上传数据 Tunnel(离线)MaxCompute的客户端...

应用采集

ADAM可以对Java JDK1.6及以上版本的应用提供采集功能,帮助客户评估分析需要改造的功能点,对于非Java应用暂不支持采集评估。应用采集概述 应用采集客户端包含两个模块:应用动态采集Agent。收集运行期应用请求数据库的基本信息,比如请求...

Alibaba Blink实时模式资源自定义

实时任务资源自定义,即指实时计算Flink配置细粒度资源的专家模式(BETA),Flink托管引入的全新的资源配置模式,支持对作业所使用的资源进行细粒度的资源控制,以满足作业吞吐的要求。系统会自动根据您配置的资源需求,以Native K8s的...

文档更新动态(2023年)

更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦(DM)数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...

增量备份数据上云(SQL Server 2008 R2云盘、2012及...

您需要先将量备份文件上传至阿里云的对象存储服务(OSS),并通过RDS控制量备份数据恢复至指定的RDS SQL Server数据。然后通过RDS控制将差异备份或日志备份文件导入该RDS SQL Server数据,以实现增量备份上云的效果。该...

公告

显著提升数据治理水平,Dataphin将进一步加强资产治理方向的投入,正式更名为“智能数据建设与治理Dataphin”,希望能够更好的助力企业构建质量可靠、消费便捷、生产安全经济的企业级数据中台。更名公告,请参见 Dataphin更名通知。2020年...

功能更新动态(2023年)

创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦(DM)数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...

RDS术语

本文介绍云数据库RDS的相关名词和术语。A 安全组 安全组是一种虚拟防火墙,用于控制安全组的ECS实例的出入流量。在RDS白名单添加安全组后,该安全组的ECS实例就可以访问RDS实例。更多信息,请参见 设置安全组。按量付费 后付费,即...

RDS术语

本文介绍云数据库RDS的相关名词和术语。A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品,这些云数据库服务采用统一的数据库内核(简称AliPG),AliPG兼容PostgreSQL开源数据库,于2015年正式商用,支持PostgreSQL主流版本...

导入与导出

数据同步过程,可以修改源表的字段类型,目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改,并且只能将取值范围小的数据类型更改为取值范围数据类型,或者将单精度数据类型更改为双精度数据类型。整型数据类型:支持...

RDS术语

本文介绍云数据库RDS的相关名词和术语。A 安全组 安全组是一种虚拟防火墙,用于控制安全组的ECS实例的出入流量。在RDS白名单添加安全组后,该安全组的ECS实例就可以访问RDS实例。更多信息,请参见 设置安全组。按量付费 后付费,即...

常见报错

本文介绍DBS配置备份计划、备份恢复预检查以及恢复任务运行时系统返回的报错信息(如异常信息或错误码)以及解决方法。说明 若在本文未找到您遇到的异常或报错,或按照文中修复建议仍未解决您的问题,请到 DBS客户咨询群(钉钉群号:...

RDS术语

本文介绍云数据库RDS的相关名词和术语。A AliSQL 阿里云深度定制的独立MySQL分支,除了社区版的所有功能外,AliSQL提供了类似于MySQL企业版的诸多功能,如企业级备份恢复、线程池、并行查询等,并且AliSQL还提供兼容Oracle的能力,如...

RDS术语

本文介绍云数据库RDS的相关名词和术语。A AliSQL 阿里云深度定制的独立MySQL分支,除了社区版的所有功能外,AliSQL提供了类似于MySQL企业版的诸多功能,如企业级备份恢复、线程池、并行查询等,并且AliSQL还提供兼容Oracle的能力,如...

全量备份数据上云(SQL Server 2008 R2云盘、2012及...

您只需将本地SQL Server数据库的量备份数据上传至阿里云的对象存储服务(OSS),然后通过RDS控制即可将量备份数据上云至指定RDS SQL Server数据。适用于数据备份、迁移和灾备恢复等场景。说明 本方案仅适用于将数据上云至RDS SQL...

Tunnel命令常见问题

java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常,通常是因为上传过程的网络连接断开或超时导致的:当您的数据源并非是本地文件,需要从数据库等地方获取时,数据在写入的过程还...

全量备份数据上云(SQL Server 2008 R2本地盘)

您只需将本地SQL Server数据库的量备份数据上传至阿里云的对象存储服务(OSS),然后通过RDS控制量备份数据迁移至指定RDS SQL Server数据。该方案采用微软官方的备份恢复方案,可保障兼容性。适用于数据备份、迁移和灾备恢复等...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

2020年

2020-07-29 全部区域 数据类型版本说明 创建MaxCompute项目 Python UDF支持更多数据类型 Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型(ARRAY、MAP和STRUCT)和复杂数据类型嵌套。...

上下游存储

含有MaxCompute结果表的作业运行过程报错Invalid partition spec 含有MaxCompute结果表的作业运行过程报错No more available blockId Print结果表 如何在控制查看print数据结果?Tablestore维表 维表进行JOIN时,如果查询不到数据,...

使用须知

您可以使用MapReduce提供的接口(Java API)编写MapReduce程序,处理MaxCompute数据。Graph 一套面向迭代的图计算处理框架。使用图进行建模,图由点(Vertex)和边(Edge)组成,点和边包含权值(Value)。通过迭代对图进行编辑、演化...

ApsaraDB For OceanBase数据

ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能,您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...

概述

解决方案 T+1量同步一键建仓是指通过DLA控制配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据数据同步到目标数据仓库OSS,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 Redis 版 云数据库 RDS 数据传输服务 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用