实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
创建RDS MySQL数据订阅通道
如果源数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需手动在ECS上的自建数据库中添加对应地区DTS服务的IP地址，以允许来自DTS服务器的访问；如果源数据库是IDC自建数据库或其他云数据库，则...
装饰条
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如装饰条配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
萤石云播放器
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如萤石云播放器配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
iframe
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如iframe配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
实时数据订阅概述
Pull模式：您可以使用开源的Kafka客户端直接订阅数据，服务端会暂时保存数据，您需要对保存的数据设置一个过期时间，如果超过这个时间数据会被删除。具体操作请参见 通过Pull模式创建数据订阅通道。Push模式：云原生多模数据库 Lindorm ...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
一键MaxCompute任务出错恢复
Tunnel端问题导致写入MaxCompute报错 查看实时任务日志，若报错信息为 InternalServerError、Exception when calling callable.Exception Msg:Read timed out 错误提示（例如图中报错），表示Tunnel服务端出现了问题，请联系MaxCompute值班...
导出至OSS
未做分区的普通外表语法支持 使用 INSERT INTO 或 INSERT OVERWRITE SELECT 导入数据时，默认是同步执行流程，如果数据量较大达到几百GB，客户端到 AnalyticDB MySQL 服务端的连接会中断，导致数据导入失败。因此，如果您的数据量较大时，...
PyODPS概述
处理逻辑，产生出 processed_data#yield processed_data df.apply(handle,axis=1).persist(out_table.name)利用apply实现分布式执行：复杂逻辑都放在handle这个函数里，这个函数会被自动序列化到服务端作为UDF使用，在服务端调用执行，...
服务等级说明
服务等级说明 数据总线服务等级协议 本服务等级协议（Service Level Agreement，以下简称“SLA”）规定了阿里云向客户提供的数据总线（简称“数据总线”）的服务可用性等级指标及赔偿方案。1.定义 1.1 服务周期 一个服务周期为一个自然月。...
应用场景
云数据库Redis版 适用于多种场景，尤其是请求并发量大场景中的数据存储。游戏行业应用 游戏行业通常将云数据库Redis版作为重要的部署架构组件，用于缓存或数据持久化。场景一：Redis作为缓存加速应用访问 Redis作为缓存层，加速应用访问。...
创建Oracle数据订阅通道
如果源数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需手动在ECS上的自建数据库中添加对应地区DTS服务的IP地址，以允许来自DTS服务器的访问；如果源数据库是IDC自建数据库或其他云数据库，则...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
支持的数据源
MongoDB Oracle SQL Server MariaDB Redis PostgreSQL 通过备份网关连接的数据库 说明 您可以在数据库服务器上安装备份网关服务，即可将数据库从服务器上添加至DBS中，具体信息，请参见 添加备份网关。MySQL Oracle SQL Server
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
配置数据订阅任务
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入任意目标端，适配各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。本文将介绍在DTS专属...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
创建Oracle数据订阅任务
如果源数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需手动在ECS上的自建数据库中添加对应地区DTS服务的IP地址，以允许来自DTS服务器的访问；如果源数据库是IDC自建数据库或其他云数据库，则...
基本概念
本文介绍服务器迁移中心相关的基本概念，以便您正确理解和使用。基础概念 服务器迁移中心主要功能的相关概念如下表所示。概念 说明 服务器迁移中心 服务器迁移中心（Server Migration Center，简称SMC）是阿里云提供给您的迁移平台。专注于...
添加日志服务SLS数据源
本文档介绍在DataV中添加日志服务SLS数据源的方法，以及相关参数配置说明。日志服务（Log Service，简称SLS）是针对实时数据的一站式服务。前提条件 已准备好待添加的日志服务SLS数据源。添加日志服务SLS数据源操作步骤 登录 DataV控制台。...
什么是RDS PostgreSQL
数据库代理（读写分离）：数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，实现自动读写分离功能，具有高可用、高性能、可运维、简单易用等特点。Babelfish for RDS PostgreSQL：...
区域下钻热力层（v1.x版本）
请求映射数据 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域下钻热力层配置了API数据源为 http://api.test ，传到 请求映射数据 动作的数据为 { id:'1'}，则最终请求接口为 htp:/api.test?id=1。导入默认...
数据服务概述
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
使用MongoDB工具将自建数据库迁移至副本集实例
步骤一：备份自建数据库 在自建MongoDB数据库所属的服务器中执行以下命令，备份所有数据库的数据。mongodump-host<mongodb_host>-port<port>-u<username>-authenticationDatabase说明<mongodb_host>：自建MongoDB数据库的服务器地址，本机...
使用MongoDB工具将自建数据库迁移至分片集群实例
步骤一：备份自建数据库 在自建MongoDB数据库所属的服务器中执行以下命令，备份所有数据库的数据。mongodump-host<mongodb_host>-port<port>-u<username>-authenticationDatabase说明<mongodb_host>：自建MongoDB数据库的服务器地址，本机...
EMR-3.22.x版本说明
包括多Namespace支持、本地数据块以大文件形式存储、多模存储支持和外部客户端支持等多项重大更新。解决机器重启过程中Bigboot monitor状态不正确问题。增加Kudu组件的服务spec。增加各个服务spec的正确性检验。Hadoop HDFS HDFS ...
使用MongoDB工具将自建数据库迁移至单节点实例
步骤一：备份自建数据库 在自建MongoDB数据库所属的服务器中执行以下命令，备份所有数据库的数据。mongodump-host<mongodb_host>-port<port>-u<username>-authenticationDatabase说明<mongodb_host>：自建MongoDB数据库的服务器地址，本机...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
区域下钻热力层（v2.x版本）
请求自定义区域数据 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域下钻热力层配置了API数据源为 http://api.test ，传到 请求自定义区域数据 动作的数据为 { id:'1'}，则最终请求接口为 htp:/api.test?id...
数据保护机制
在实际业务处理过程中，用户可能会同时具备多个项目的访问权限，此时会存在数据在项目间流转的安全问题。MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制...
API概览
本产品（轻量应用服务器/2020-06-01）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
连接SQL Server实例
说明 建议下载最新版本客户端，以支持所有SQL Server服务端版本。打开本地Microsoft SQL Server Management Studio 19.0（SSMS）客户端。选择 连接>数据库引擎。在弹出的 连接到服务器 对话框中输入登录信息。参数 本教程取值 说明 服务器...
连接SQL Server实例
说明 建议下载最新版本客户端，以支持所有SQL Server服务端版本。打开本地Microsoft SQL Server Management Studio 19.0（SSMS）客户端。选择 连接>数据库引擎。在弹出的 连接到服务器 对话框中输入登录信息。参数 本教程取值 说明 服务器...
Replication语句
本文介绍了基于Binlog文件在MySQL服务器之间进行数据复制的语句。Binlog日志服务如何支持数据复制 PolarDB-X 的Binlog文件是在DN节点的物理Binlog基础之上生成的，剔除了分布式事务的细节，只保留了单机事务的特性。同时，Binlog兼容MySQL ...
概述
Federated引擎允许您访问远程 PolarDB MySQL版 集群或社区MySQL数据库中的数据，而无需使用复制或集群技术。本地Federated表中未存储任何数据，查询本地Federated表会通过远程方式提取远程表数据。当您使用 PolarDB MySQL版 或社区MySQL...
索引数据可见性
commit API/写完数据后，显示调用commit接口，让服务端在多久后执行commit，保证数据可查询 public UpdateResponse commit(boolean waitFlush,boolean waitSearcher,boolean softCommit)throws SolrServerException,IOException;例如：服务...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
- 产品推荐
- 这些文档可能帮助您