数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...单击 开通数据中台。
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
线热力层（v1.x版本）
info（可选）弹窗内容，如果为空，则弹窗信息显示为对应的矢量线数据中的 properties 字段的内容。如果不为空，弹窗信息显示为 info 字段的内容。color（可选）线热力层支持数据优先的渲染，如果您配置了 color（线颜色）、weight（线宽）...
线热力层（v2.x版本）
info（可选）弹窗内容，如果为空，则弹窗信息显示为对应的矢量线数据中的 properties 字段的内容。如果不为空，弹窗信息显示为 info 字段的内容。color（可选）线热力层支持数据优先的渲染，如果您配置了 color（线颜色）、weight（线宽）...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
客户案例
新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，大润发计划两年内将IT系统全面迁移到阿里云上，不再自建IDC。同时与阿里云合作启动数据中台项目，可以帮助大润发降低TCO的同时，更好的依托云...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
什么是DataWorks
DataWorks发展之路 阿里巴巴集团内发展历程 从2009年产品立项开始，DataWorks与阿里巴巴业务共同发展，结合MaxCompute、Hologres等大数据计算引擎的能力，跨越多个技术阶段，支撑阿里巴巴数据中台与数据治理建设。目前阿里巴巴集团内...
常见问题概览
连接访问 打开SQLConsole页面时提示“未获取到数据库相关信息”的报错 MySQL中出现“Too many connections”报错 新增ECS自建数据库提示“因白名单问题无法连接数据库”账号或权限 如何在DMS控制台中查看数据库对应的DBA 在DMS控制台添加...
功能介绍
4 我的看板 当前区域为可视化应用中心中数据看板的展示页面，当可视化工作台中的数据看板发布后，此处即展示已发布的数据看板。可视化演播厅 序号 区域名称 说明 1 工作空间 当前区域为可视化演播厅中工作空间的管理部分，通过切换工作空间...
规格及选型
案例七：大型互联网企业 用户为大型互联网企业，各业务线具有各自独立的业务中台，企业存在统一的数据中台，希望可以快速部署独立资源支持不同的业务负载，且未来不会产生数据孤岛。建议：使用 AnalyticDB PostgreSQL版 Serverless版本，...
新建补数据计划
在离线计算任务中新建补数据计划 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，单击 图标，选择 离线任务>离线计算任务。在离线计算任务列表中...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
受众与核心能力
同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...
数据同步
创建离线同步任务，具体步骤如下：将鼠标移动到左侧导航栏中的 离线数据同步 上，单击 图标。单击 新增任务。输入 任务名称，本次快速入门教程的示例名称为 信用卡客户数据上云_d。在 数据源配置 区域，数据源 选择 ADB for Postgre>adbpg_...
查询报错问题
errorCode=65541,errorName=NO_NODES_AVAILABLE,errorType=INTERNAL_ERROR,errorLocation=null,failureInfo=mpp.client.FailureInfo@13887b2e} 一般是数据库内部某个计算节点压力较大导致该节点暂时离线，系统能够自动修复。请用户过5~10...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
对于不带分区的Hudi格式，您也可使用单表离线同步方案，但无需在DataWorks数据开发模块创建离线同步任务，直接在DLF控制台中创建 关系数据库全量入湖 类型的任务即可，具体操作可参考 OSS数据进行格式转换入湖。单表离线同步 在DataWorks ...
热力线层
最大透明度：热力线的最大透明度，根据数据中每条线对应的 value 值来设置线透明度。数据面板 该组件数据为GeoJson格式，关于数据格式以及数据获取方法，请参见 地图数据格式。其中每条线的 value 值可在 properties 字段中配置。说明 根据...
热力线层
最大透明度：热力线的最大透明度，根据数据中每条线对应的value值来设置线透明度。数据源面板 每条线的value值可在 properties 字段中配置。说明 根据数据的value区间得出scale区间，从而计算从最大到最小的颜色渐变区间。数据项配置 说明 ...
什么是数据管理DMS
数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据的处理逻辑，帮助解决企业数据孤岛的痛点。简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主...
X-Engine简介
目前已经广泛应用在阿里集团内部诸多业务系统中，包括交易历史库、钉钉历史库等核心应用，大幅缩减了业务成本，同时也作为双十一大促的关键数据库技术，挺过了数百倍平时流量的冲击。为什么设计一个新的存储引擎 X-Engine的诞生是为了应对...
快速入门综述
2.0 AnalyticDB MySQL版 2.0 支持多种数据入库方式，您可以通过阿里云数据传输 DTS（Data Transmission Service）将MySQL或PolarDB-X（原DRDS）中的数据导入 AnalyticDB MySQL版 2.0，其中MySQL可以是RDS MySQL、其他云厂商或线上IDC的自建...
支持的数据库引擎与功能
阿里云数据库 ECS上的自建数据库 线下数据库 其他云数据库 阿里云数据库 ECS上的自建数据库 线下数据库 其他云数据库 数据源类型 MongoDB Redis 支持的版本 4.2、4.0、3.6、3.4、3.2 4.0标准版（主从架构）说明 不支持Redis 5.0及以上版本...
行业趋势与背景
该时代的产品专注解决单机解决不好的分布式扩展性问题，满足分布式数据一致性要求，并支持从单机到分布式的平滑演进，利用云原生技术的优势提供低成本和弹性能力，在交付上具备线上公有云、线下专有云、轻量化等全形态输出。
配置离线数据集成节点
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
一键建仓
背景信息 传统创建数据仓库的方法为：通过离线脚本将数据周期性地从源数据库采集至数据仓库，再进行ETL开发，这种方法的时间性较差，通常需要T+1天才能看到数据分析报表，且技术成本较高。数据管理DMS提供的一键建仓功能结合DTS同步链路和...
新功能发布记录
资产类目 全面优化表详情 优化 在新版表详情中展示了表的技术元数据（所属库实例、表名、字段等）、业务元数据（表业务描述、表标签等）及管理元数据（表Owner、数据权限等），并提供表的部分快捷操作。您可以在表详情中，全面地了解并高效...
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的...
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的...
通过数据同步功能同步Kafka至湖仓版（推荐）
取值说明：最早位点（begin_cursor）：自动从Kafka数据中最开始的时间点消费数据。最近位点（end_cursor）：自动从Kafka数据中最近的时间点消费数据。自定义点位：您可以选择任意一个时间点，系统则会从Kafka中第一条大于等于该时间点的...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
应用场景
存储虚拟化技术：不依赖用户生产实例，将直接使用云上资源的沙箱实例，且在沙箱中的读写不会影响到源数据库。异地备份 互联网金融、银行、保险等行业的数据库除同城备份外，有时还需异地备份。传统的异地备份需要通过专线或公网来打通地域...
DataWorks on EMR Serverless StarRocks最佳实践
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建离线同步节点，设置数据来源为MySQL，数据去向为StarRocks数据源。选择资源组后，并分别测试与...
MaxCompute表数据
进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。查找表 在左侧菜单栏，单击。进入查找表的页面。支持您在搜索框中输入表名、表描述等查找该数据源中包含关键...
- 产品推荐
- 这些文档可能帮助您