数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
场景：节点孤立
场景 描述 解决方案 上下游节点实例生成方式不一致。当上下游均为新建节点时，上游实例生成方式为 T+1 次日生成，下游实例生成方式为发布后即时生成且只有该一个上游依赖时，由于上游节点当天未生成实例，导致下游节点成为孤立节点。请调整...
数据集成侧同步任务能力说明
为了解决上述问题，DataWorks提出了面向业务场景的同步任务配置化方案，支持不同数据源的一键同步功能，例如，“一键实时同步至Elasticsearch”、“一键实时同步至Hologres”和“一键实时同步至MaxCompute”功能等，通过此类功能，您只需要...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
资源组操作及网络连通
操作前，您可以先根据 配置资源组与网络连通 文档，选择对应的网络连通解决方案，连通方案核心点为：如果您使用公网同步跨地域（Region）的数据库，您需要将独享资源组本身的EIP添加到数据库白名单列表中，详情请参见：使用独享数据集成...
Spark服务异常排查及处理
本文介绍Spark服务异常的排查方法和解决方案。Spark服务日志 当出现Spark服务异常时，您可以查看Spark服务的日志。服务日志目录：EMR-3.40.0之后版本、4.10.1之后版本、5.6.0之后版本：/var/log/emr/spark EMR-3.40.0及之前版本、4.10.1及...
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
T+1多库合并建仓
解决方案 T+1多库合并建仓是指通过DLA控制台上的多库合并建仓向导将RDS中的分库分表数据聚合到统一的表中，并以分区表形式存储数据。您可以全局分析所有数据，也可以选择某个分区对分区数据进行分析，进行数据分析时会非常的方便，并且也不...
下线节点
解决方案：您可前往任务发布界面先 取消发布 当前任务，再去还原数据开发（DataStudio）的文件。报错：节点存在子节点，导致任务删除或下线失败 报错原因：为保障下游任务正常执行，DataWorks仅支持任务在开发环境和生产环境均无下游依赖的...
计费逻辑说明
智能数据建模计费标准 DATABLAU数据建模 DATABLAU是DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供的一体化数据建模解决方案。用于将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力您实现数据资产价值化...
发展历程
2018年 MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。基于公共云的BigBench在100 TB规模上，MaxCompute的性能指标较2017年10月提升了一倍，达到18176.71 QPM（Queries Per Minute）。此外，在超小型10 TB规模...
数据治理中心概述
知识库：数据治理中心提供的，针对常见检查项事件及治理项问题给出的解决方案。数据治理流程 数据治理流程如下图所示。配置治理工具。启用治理方案模板并自定义检测项。细分操作 操作目的 操作指导链接 启用治理模板 数据治理中心的整体...
数仓场景：即席查询
本文通过示例为您介绍如何基于EMR Serverless StarRocks的视图能力构建数仓场景-即席查询解决方案。前提条件 已创建DataFlow或自定义集群，具体操作请参见 创建集群。已创建EMR Serverless StarRocks实例，具体操作请参见 创建实例。已创建...
图扑案例
Lindorm 针对工业物联网数据高并发写入，实时存取等特点，创新性地融合时序、索引、宽表等多模引擎能力，为存储、分析低价值密度、高通量、高实时性的工业物联网监控数据提供了高性价比的最优解决方案，大幅度降低了数据存储和存储系统运维...
概述
Row-oriented AI NL2BI：用自然语言实时查看BI报表 典型解决方案 ID-Mapping在游戏领域的解决方案 通义千问大模型数据推理和交互 核心算法 LightGBM算法 DeepFM算法 K均值聚类算法（K-Means）随机森林回归算法（Random Forest Regression）...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
新建解决方案
将工作组中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产，进行版本化的解决方案创建及实例化，便于完成数据治理工作环境的初始化、跨平台的资产发布及迁移。本文介绍如何通过全新创建和根据已有...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
通过操作审计查询行为事件日志
DIDeleteSolutionV1 旧版解决方案删除解决方案 DIStartSolutionV1 旧版解决方案运行解决方案（提交执行/重跑）DICloneSolutionV1 旧版解决方案克隆 DIFullSupplementData 旧版解决方案全量补数据 DownloadSqlResult 下载数据分析的SQL查询...
StartDISyncInstance
调用StartDISyncInstance接口，启动实时同步任务和解决方案同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...
云产品集成
大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...
如何解决Redis内存使用率突然升高
如果 Redis 实例的内存使用率突然飙升，可参考本文排查原因并解决问题。问题现象 Redis 实例之前的内存使用率较...解决方案：执行 CLIENT LIST 命令，查看哪个客户端的输出缓冲区内存占用量（omem）较大。排查该客户端应用是否存在性能问题。
公交出行：启迪公交
解决方案 启迪公交采用 PolarDB-X 分布式数据库方案构建了全部业务系统，既支持海量大数据的处理能力，又支持高并发、高可用和很强的弹性伸缩能力。票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时...
RDS搭配异构数据库实现数据多样化存储
缓存数据持久化 RDS可以搭配云数据库缓存产品（Redis和Memcache），组成高吞吐、低延迟的存储解决方案。相对于RDS，云数据库缓存产品有两个特性：响应速度快。请求的时延通常在几毫秒以内。缓存区能够支持比RDS更高的QPS（每秒处理请求数）...
补数据
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
数据未正常产出或任务未运行如何处理
解决方案 您需要点开任务DAG图，选中实例后右键查看父节点，查看上游节点实例状态。上游节点实例状态：紫色 说明上游节点实例被冻结了，上游任务将不会运行，且阻塞下游任务。此种情况下，您可以在实例详情的操作记录中查看相关记录，了解...
SDK重新运行后不能成功订阅数据
问题描述 SDK重新运行后不能成功订阅数据。问题原因 因为数据订阅通道中...解决方案 为了修复这个问题，在启动SDK之前，需要先修改消费位点，使消费位点在数据范围内，具体的修改方法详见文档 修改订阅通道的消费位点。适用于 数据传输服务DTS
大数据AI公共数据集分析
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
功能简介
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
等待资源
解决措施：检查日志（任务配置）中concurrent参数值，如果并发任务设置过大，需根据机器支持的最大并发数与当前同时消耗的并发数配置任务并发。如果单个任务并发设置超过了机器支持的最大并发数，请将这些并发任务全部停掉，修改任务并发数...
新建数据库网关
在顶部菜单栏中，选择 解决方案>数据库网关。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库网关。在 网关列表 页面，单击 新建网关。在弹出的对话框中，填写 网关名称 和 备注 信息，单击...
敏感数据溯源
解决方案：您需要确认溯源数据的来源，确保溯源的数据为本租户名下的数据。原因三：被溯源的文件中不包含水印信息。解决方案：您需要检查目标文件是否开启 数据水印，DataWorks仅支持对开启 数据水印 功能之后所执行的数据访问操作进行溯源...
什么是数据安全中心
数据安全中心（Data Security Center，简称DSC），在满足等保2.0“安全审计”及“个人信息保护”的合规要求的基础上，为您提供敏感数据识别、数据安全审计、数据脱敏、智能异常检测 等数据安全能力，形成一体化的数据安全解决方案。...
创建高可用本地Agent集群
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库网关。在数据 网关列表 页面，选择待添加高可用节点的网关，单击其右侧的 详情。在 网关详情 页面，单击 添加网关节点。您可以根据操作系统...
管理数据库网关
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库网关。在 网关列表 页面，单击目标网关对应 操作 列的 详情。在 网关详情 页单击 添加网关节点。您可以根据操作系统类型，选择不同的下载...
JindoSDK访问OSS出现NoSuchUpload问题
本文介绍JindoSDK访问OSS出现NoSuchUpload问题的原因和解决方案。问题详情[RequestId]:638xxxxxx[HostId]:oss-xxxx-internal.aliyuncs.com [ErrorMessage]:[E1010]...
Slowly Changing Dimension
本文为您介绍G-SCD的具体解决方案及如何通过G-SCD处理维度的数据。背景信息 SCD简介 Slowly Changing Dimension（SCD）即缓慢变化维，是随着时间变化的维度。在数据仓库中存储和管理当前和历史的数据，就需要考虑如何处理缓慢变化维，因此...
- 产品推荐
- 这些文档可能帮助您