数据标准
添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”按钮即可进入数据标准添加页面。根据选项填写数据标准的...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
DBeaver连接MaxCompute
MaxCompute支持您通过数据库管理工具DBeaver访问MaxCompute项目，进行数据管理操作。本文为您介绍如何通过MaxCompute JDBC驱动，连接DBeaver和MaxCompute项目并管理数据。背景信息 DBeaver是一款免费的多平台数据库工具，适用于开发人员、...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
配置学区地图单选框交互
本文档为您介绍通过 单选框 实现不同类型学校的散点层数据的切换展示，以及 Tab列表 和 单选框 的双重触发判断方法。例如 Tab列表 选择 小学，单选框 选择 公办，那么最终实现在可视化应用上展示所有 公办小学 的散点层信息。前提条件 完成...
创建应用数据源Dataphin
本文为您介绍如何创建Dataphin数据源。前提条件 已创建Dataphin数据源，请参见 开发Dataphin数据源并加速数据查询。已完成Dataphin数据源和应用的绑定，请参见 调用Dataphin数据源。操作步骤 登录 Quick BI控制台。请按照下述步骤添加数据...
配置学区地图单选框交互
本文档为您介绍通过 单选框 实现不同类型学校的散点层数据的切换展示，以及 Tab列表 和 单选框 的双重触发判断方法。例如 Tab列表 选择 小学，单选框 选择 公办，那么最终实现在可视化应用上展示所有 公办小学 的散点层信息。前提条件 完成...
PyODPS概述
t.open_writer()as writer:writer.write(out)单机处理数据的思维，逐行读取数据，然后逐行处理数据，再逐行写入目标表。整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用...
使用星环TDH作为元仓计算引擎进行元仓初始化
JDBC URL 填写目标数据库JDBC的连接地址。例如：MySQL数据库的连接地址格式为 jdbc:mysql:/host:port/dbname。Inceptor数据库的连接地址格式为 jdbc:hive2:/host:port/dbname。用户名、密码 目标数据库的用户名和密码。若Inceptor数据库...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
JDBC数据服务问题
本文汇总了一些高频问题，帮助您更顺畅的了解JDBC数据服务。查询结果字段可以支持逻辑运算结果吗？支持。不同的 数据服务类别 会返回不同的查询结果参数：单表查询：可以将查询结果参数的 表别名字段名 直接配置为需要的字段逻辑运算表达式...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
实时数据消费概述
为您提供了一个强大的工具，用于结合流处理和批处理的数据分析。更多信息，请参见 实时数据源集成。使用场景 构建实时分析报表及其他实时分析应用。结合增量实时物化视图构建流批一体的实时数仓。在采用SQL方式写入数据（UPSERT或UPDATE）...
轮播页面
导入当前大屏数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。获取当前页面信息 返回当前页面的 id 和 url 等参数值...
轮播页面
动作 动作 说明 导入大屏轮播数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据，参考数据示例。[{"id":1,"serieName":"大屏一","url":"https://img.alicdn.com/imgextra/i4/O1CN01nZeSa71FYaTamJg2D_!...
通过Hibernate使用
使用Hibernate能有效减少在SQL和JDBC中手动处理数据所花费的时间。更多信息，请参见 Hibernate官网文档。注意事项 目前支持使用SQL查询功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北5（呼和浩特）、...
导入概述
当系统处理速度较慢时，Writer可能长时间接收不到下一批数据，导致导入报错 TabletWriter add batch with unknown id。此时可适当调大该参数。load_process_max_memory_limit_percent 分别为最大内存和最大内存百分比，限制了单个BE上可...
Slowly Changing Dimension
查询在 步骤二：处理数据 示例中两次批量写入的数据，具体操作如下。执行以下命令，查询第一次批量写入的数据。select id,body from target where dt='2021-01-01';重要 查询数据时，可以使用正常的SQL语法。查询数据时，必须指定...
JDBC数据源
本文介绍如何使用JDBC数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName USING jdbc2 OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);Table Schema 创建JDBC表时，无需显式地定义表的字段信息，示例...
外部表概述
该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
整体架构
技术架构 AnalyticDB MySQL版 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批处理的混合负载。AnalyticDB MySQL 数仓版（3.0）主要用来处理高性能在线分析场景的数据。随着数据...
集成与开发概览
您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于...
通过Spark SQL访问MySQL数据
AnalyticDB MySQL 湖仓版（3.0）支持提交Spark SQL作业，您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例，介绍如何通过Spark SQL访问RDS MySQL数据。前提条件 ...
查看并管理手动运行补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，对补数据任务进行批量处理，提高操作效率。具体操作，请参见。手动运行补数据任务支持的批量操作。手动运行补数据任务列表支持的操作 操作 描述 手动运行 立即运行当前补数据任务...
查看并管理手动运行补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，对补数据任务进行批量处理，提高操作效率。具体操作，请参见 手动运行补数据任务支持的批量操作。手动运行补数据任务列表支持的操作 操作 描述 手动运行 立即运行当前补数据任务...
API概览
本产品（数据湖构建/2020-07-10）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可...
BI工具兼容概述
JDBC Driver可以考虑BI工具自带的Driver，或采用 连接数据库 推荐的JDBC Driver。BI工具兼容支持列表 BI 工具 使用指导 阿里云Quick BI 请参见 Quick BI连接，选择 AnalyticDB PostgreSQL版 作为数据源。阿里云DataV 请参见 DataV 选择 ...
授权与回收数据源权限
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建，请参见 数据源管理。授权数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据源授权 对话框。根据数据源授权...
授权与回收数据源权限
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建，请参见 数据源管理。授权数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据源授权 对话框。根据数据源授权...
查看并管理定时调度补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，批量对补数据任务进行批量处理，提高操作效率。具体操作，请参见 定时调度补数据任务支持批量操作。定时调度补数据任务列表支持的操作 操作 描述 手动运行 单击 可以手动方式运行...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
Spark常见报错
SSL_ERROR SSL peer shut down incorrectly JDBC_COLUMN_TYPE_PARSER_ERROR Can't get JDBC type for<数据类型>业务需要处理的数据量突然变大导致Spark作业无法成功执行。EXECUTOR_CONTAINER_OOM Exit Code:137 EXECUTOR_DISK_FULL No ...
查看并管理定时调度补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，批量对补数据任务进行批量处理，提高操作效率。支持的批量操作如下：开启：批量开启定时调度补数据任务的生效状态。开启后，任务按照配置的时间定时调度。关闭：批量关闭定时调度...
联合查询多个MySQL实例
背景信息 Data Lake Analytics（简称DLA）作为云上数据处理的枢纽，支持通过标准JDBC对单个实例 RDS、Table Store、OSS、MongoDB 中的数据进行查询和分析。随着业务的扩展或者数据的划分，您可能会创建多个RDS、Table Store、OSS等实例存储...
背景信息以及准备工作
背景信息 Data Lake Analytics（简称DLA）作为云上数据处理的枢纽，支持通过标准JDBC对RDS、Table Store、OSS中的数据进行查询和分析。您还可以在DLA中创建 云数据库 Redis 版（简称Redis）的数据库连接（映射数据库），然后通过MySQL客户...
背景信息以及准备工作
Data Lake Analytics（简称DLA）作为云上数据处理的枢纽，支持通过标准JDBC连接 阿里云关系型数据库（Relational Database Service，简称RDS）（MySQL、SQLServer、PostgreSQL）数据库、云服务器（Elastic Compute Service，简称ECS）上的...
- 产品推荐
- 这些文档可能帮助您