支持的数据源
本文介绍Lindorm与关系型数据库、NoSQL数据库、大数据生态之间的数据导入导出能力。其中部分能力由LTS（Lindorm自研的数据通道服务）支持，部分能力由DataWorks或DTS支持。数据导入 源集群 目标集群 全量导入 增量导入 关系数据库 MySQL ...
常见问题
答：大数据专家服务方式可以选择【现场】+【远程】技术支持方式提供服务，一般在服务需求沟通阶段与用户就服务方式达成共识，若因疫情等不可抗原因仅提供远程技术支持的方式提供服务。4.大数据专家服务范围是覆盖阿里云所有大数据产品技术...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
准备环境
实名认证，详情请参见 个人实名认证 背景信息 本次实验涉及的阿里云产品如下：大数据计算服务 MaxCompute 数据工场 DataWorks 人工智能平台 PAI MaxCompute DataWorks PAI 开通大数据计算服务MaxCompute 说明 如果您已经开通MaxCompute，请...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
常见问题
日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的...
什么是数据库网关
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
数据传输独享资源费用（包年包月）
背景信息 MaxCompute当前在各个地域均为您提供了免费的 公共数据传输服务资源组，为该地域下所有客户提供数据传输服务，同时也为您提供了 独享数据传输服务资源组（包年包月），以提供更好的数据同步稳定性和同步的并发数。两类资源组的...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
SDK重新运行后不能成功订阅数据
因此如果上次SDK退出时最后一条消费数据的时间点对应的数据，不在当前订阅通道中，就不能订阅到这个消费位点对应的数据。解决方案 为了修复这个问题，在启动SDK之前，需要先修改消费位点，使消费位点在数据范围内，具体的修改方法详见文档 ...
Dataphin支持的数据源
支持 不支持 不支持 不支持 创建Hudi数据源 Doris 支持 不支持 不支持 支持 不支持 不支持 不支持 新建Doris数据源 GreenPlum 支持 不支持 不支持 不支持 不支持 不支持 不支持 创建GreenPlum数据源 TDengine 不支持 不支持 不支持 不支持 ...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
Dataphin支持的数据源
不支持 不支持 不支持 创建HDFS数据源 FTP 支持 不支持 不支持 不支持 不支持 不支持 不支持 创建FTP数据源 OSS 支持 不支持 不支持 不支持 不支持 不支持 不支持 创建OSS数据源 Amazon S3 支持 不支持 不支持 不支持 不支持 不支持 不支持...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
购买数据库审计实例
数据库审计服务是一款专业、主动、实时监控数据库安全的审计产品，可用于审计阿里云自研数据库和自建数据库。本文介绍如何购买数据库审计实例。背景信息 购买数据库审计实例前，您可能需要了解以下信息：计费方式 功能特性 支持的数据库...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
关系型数据库系统权限策略参考
本策略由关系型数据库定义和使用，您不能修改或删除，请勿将其授权给服务关联角色之外的RAM身份。查看策略详情 AliyunServiceRolePolicyForRDSProxyOnEcs 关系型数据库使用服务关联角色 AliyunServiceRoleForRDSProxyOnEcs 来访问您在其他...
关系型数据库系统权限策略参考
本策略由关系型数据库定义和使用，您不能修改或删除，请勿将其授权给服务关联角色之外的RAM身份。查看策略详情 AliyunServiceRolePolicyForRDSProxyOnEcs 关系型数据库使用服务关联角色 AliyunServiceRoleForRDSProxyOnEcs 来访问您在其他...
关系型数据库系统权限策略参考
本策略由关系型数据库定义和使用，您不能修改或删除，请勿将其授权给服务关联角色之外的RAM身份。查看策略详情 AliyunServiceRolePolicyForRDSProxyOnEcs 关系型数据库使用服务关联角色 AliyunServiceRoleForRDSProxyOnEcs 来访问您在其他...
集群版-单副本
警告 单副本架构不能保障数据可用性和服务连续性，选用前请务必确认风险，不建议您在生产环境中使用该架构的实例。云数据库Redis版服务等级协议不适用于单副本架构的实例。架构简介 针对纯缓存类业务、QPS压力较大的业务场景，云数据库...
关系型数据库系统权限策略参考
本策略由关系型数据库定义和使用，您不能修改或删除，请勿将其授权给服务关联角色之外的RAM身份。查看策略详情 AliyunServiceRolePolicyForRDSProxyOnEcs 关系型数据库使用服务关联角色 AliyunServiceRoleForRDSProxyOnEcs 来访问您在其他...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
关系型数据库系统权限策略参考
本策略由关系型数据库定义和使用，您不能修改或删除，请勿将其授权给服务关联角色之外的RAM身份。查看策略详情 AliyunServiceRolePolicyForRDSProxyOnEcs 关系型数据库使用服务关联角色 AliyunServiceRoleForRDSProxyOnEcs 来访问您在其他...
关系型数据库系统权限策略参考
本策略由关系型数据库定义和使用，您不能修改或删除，请勿将其授权给服务关联角色之外的RAM身份。查看策略详情 AliyunServiceRolePolicyForRDSProxyOnEcs 关系型数据库使用服务关联角色 AliyunServiceRoleForRDSProxyOnEcs 来访问您在其他...
企业版和标准版功能对比
支持 不支持 高性价比 冷数据归档 若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本...
支持的云服务
日志数据采集后，需要更多的个性化分析、挖掘，您可以通过DataWorks的数据集成将日志服务数据同步到MaxCompute，通过MaxCompute对日志数据进行个性化、深层次的数据分析、挖掘。更多SLS信息，请参见 日志服务SLS。访问控制RAM RAM是阿里云...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
OSS/OSS-HDFS概述
不支持 支持 扩展属性XAttrs 不支持 支持 ACL 不支持 支持 本地读缓存加速 支持 支持 快照Snapshot 不支持 支持 文件append、flush和sync操作 不支持 支持 文件truncate 不支持 支持 校验和Checksum 支持 支持 HDFS回收站自动清理 不支持 ...
添加数据源概述
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
数据传输服务（上传）场景与工具
背景信息 MaxCompute提供了多种数据上传下载的通道支持，方便您在各种场景下进行技术方案选型时参考。批量数据通道：支持批量上传及下载数据场景。流式数据通道：提供了以流式的方式把数据写入MaxCompute的能力。实时数据通道：DataHub是...
功能特性
OceanBase 数据库通过租户实现资源隔离，让每个数据库服务的实例不感知其他实例的存在，并通过权限控制确保不同租户数据的安全性，配合 OceanBase 数据库强大的可扩展性，能够提供安全、灵活的 DBaaS 服务。高兼容性 OceanBase 数据库针对 ...
数据迁移
背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，可以将数据迁移至 MaxCompute。MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和...
C100售后支持相关问题
说明 RAM用户授权覆盖的范围是针对整个数据库审计服务的读写行为进行授权，暂不支持对已经配置到数据库审计服务里面的单个数据库（包括RDS数据库和自建ECS数据库）添加RAM用户授权。单个数据库是否为RAM用户授权，不影响该RAM用户使用数据...
客户案例
客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和存储是 MaxCompute，两套异构的执行引擎带来存储冗余、元数据不统一、权限不统一、湖仓计算不能自由流动的问题。客户需求 如架构图所示，MaxCompute和...
创建Kudu数据源
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
- 产品推荐
- 这些文档可能帮助您