Iceberg概述
删除或更新数据 大部分数仓都难以实现较为高效的行级数据删除或更新，通常需要启动离线作业把整个表原始数据读取出来，然后变更数据后，写入到一个原始表。而Iceberg成功把变更的范围从表级别缩小到了文件级别，从而可以通过局部变更来完成...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
查看元数据
元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。本文为您介绍如何通过EMR StarRocks Manager查看元数据。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、...
运营
运营主要面向租户资产管理员，为用户提供数据资产编目、数据资产上线、数据资产下线等能力。通过获取资产元数据信息，并同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员...
功能简介
数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。数据资产申请，数据使用者向数据管理方提出使用...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
数仓规划概述
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
常见问题
答：基因分析平台提供多种计算分析加速手段，包括：1）计算缓存加速，提供输入文件流式加载访问、公共参考文件计算侧缓存加速等节省大数据量文件访问I/O优化。2）大规模并行计算，不受限本地计算资源规模，支持Scatter-Gather的模式，对...
Logtail发布历史
1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：2024.01.24 修复 修复标签数据多线程处理导致Golang插件模块异常...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
设置运行时属性
root，此种方式推荐处理大规模数据使用 runtime { disks:"local-disk 100 cloud_ssd,/cromwell_root/500 cloud_ssd"} 注意：平台兼容社区WDL中的HDD和SSD关键字，HDD对应高效云盘（cloud_efficiency），SSD对应SSD云盘(cloud_ssd)docker 可...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
Windows下IIS+.net framework+Sqlserver接入实践
准备工作 1、环境准备 以下的说明都是基于Docker For Windows下打包并运行，请确保Docker运行在Windows Container模式下，设置方法：在系统任务栏找到Docker图标并右键，打开设置对话框：注意：本例子并不适用通过Virtualbox在Widows下运行...
Windows下IIS+.net framework+Mysql接入实践
准备工作 1、环境准备 以下的说明都是基于Docker For Windows下打包并运行，请确保Docker运行在Windows Container模式下，设置方法：在系统任务栏找到Docker图标并右键，打开设置对话框：注意：本例子并不适用通过Virtualbox在Widows下运行...
PAI轻量化控制台部署指南
计算ECS要求 挂载数据盘：建议增加一块数据盘，因运行时容器可能占用较大空间，建议数据盘大小配置为500 GiB。在 组件配置 配置向导页面，配置参数，并单击 下一步：确认配置。以下参数必须按照要求配置，其他参数可以使用默认值。Ingress...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
使用AMD CPU实例部署Stable Diffusion
与传统生成模型相比，Stable Diffusion可以在不需要复杂训练过程或大量数据集的情况下生成真实感强、细节丰富的图像。目前该项目已经应用于多种场景，包括计算机视觉、数字艺术、视频游戏等领域。创建ECS实例 前往 实例创建页。按照界面...
安装并使用DeepGPU-LLM
在处理大语言模型任务中，您可以根据实际业务部署情况，选择在不同环境（例如GPU云服务器环境或Docker环境）下安装推理引擎DeepGPU-LLM，然后通过使用DeepGPU-LLM工具实现大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义...
使用第八代Intel实例单机部署Qwen-72B-Chat
通过公网下载Qwen-72B-Chat预训练模型，因模型数据较大，使用100 Mbps带宽下载时间大约为3小时，请耐心等待。使用Python脚本下载 执行以下命令，下载 miniconda 安装包。wget ...
在Dockerfile中使用构建打包镜像并运行
请准备一个托管在 Github、Gitlab 或者 Bitbucket 平台上的Java源代码仓库。说明 您可以拷贝并托管位于Github上的一个简单的 Java Maven项目 来体验整个流程。背景信息 镜像构建的通用问题 镜像构建服务使用Dockerfile来帮助用户构建最终...
PySpark
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 通过PySpark开发Spark应用。PySpark基本使用方式 1.开发...
节点诊断
容器智能运维平台 提供节点诊断功能，帮助您诊断集群中存在异常的节点。本文介绍节点诊断对应的检查项以及修复方案。容器智能运维平台 构建了基于专家经验的故障诊断系统，并基于海量数据训练了AI智能故障诊断模型。基于专家经验和AI智能...
Pod诊断
容器智能运维平台 提供Pod诊断功能，帮助您诊断异常的Pod信息。本文介绍Pod诊断的检查项以及对应的修复方案。容器智能运维平台 构建了基于专家经验的故障诊断系统，并基于海量数据训练了AI智能故障诊断模型。Pod诊断融合了基于专家经验和AI...
应用上云方案设计
为数据服务层建立一套统一的管理规范，所有业务用户账号在完成相关审批流程后对相应的数据字段进行授权安全访问，对数据只有读的权限，不能对原始数据进行直接修改或删除，做到数据不搬家，可用不可见；建立统一的数据资源视图和数据血缘...
实例内第三方软件安装与配置问题
SQL命令参数说明如下表：参数 描述*.*第一个星号（*）为数据库占位符，如果填*则代表所有数据库。第二个星号（*）为数据库表占位符，如果填*则代表数据库中所有表。'root'@'%' root为授权登录的数据库账户，百分号（%）为IP地址占位符。...
最佳实践概览
部署并使用Docker 轻量应用服务器提供了Docker应用镜像，您可以通过该镜像快速完成Docker的搭建，并使用Docker构建开发环境。通过VNC搭建Ubuntu 16.04图形界面 轻量应用服务器提供的Ubuntu系统为命令行界面。如果您希望通过图形界面管理...
错误码
E50 Docker镜像拉取失败 在运行 build-enclave 子命令时Enclave CLI尝试拉取-docker-uri 参数指定的Docker镜像出错，请更新docker到社区版再重新运行命令，若仍出现此错误码则请检查-docker-uri参数是否有效。具体操作，请参见 部署并使用...
常见报错及解决方案
修复方案：使用平台生成的安装文件（global.yaml）执行安装命令./hopctl install-ppwd-skip-actions install_cluster-skip-actions install_application Q：安装升级包时未拷贝 global.yaml 导致 license 失效，之后通过拷贝 global.yaml ...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
自助建站方式汇总
应用类型 部署方式 说明 部署和管理数据库 创建并连接云数据库RDS MySQL 阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务。您在云上使用ECS实例构建业务时，可以搭配RDS实例存储业务数据...
应用场景
建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和非结构化数据进行高效分析处理的能力。EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松...
交付环境要求说明
挂载/var/lib/docker、/var/lib/kubelet、本地存储池（如有多余空间）场景3，适用磁盘空间紧张，稳定性要求低的客户（此场景ADP底座的etcd、docker、业务应用等均复用系统盘，当系统盘IOPS性能较低时，存在较大ADP底座管控面稳定性风险）...
基本概念
Alibaba Cloud Toolkit 阿里云开发者插件（Alibaba Cloud Toolkit）是一个面向IntelliJ IDEA、Eclipse和Maven平台的免费插件，旨在帮助开发者在本地开发平台（IDE）中更便捷的使用阿里云，从而高效地开发、测试、诊断并部署应用。...
基于Ubuntu 16.04搭建环境
本文介绍如何在Ubuntu 16.04的系统中搭建Link IoT Edge专业版（LE Pro）的Docker运行环境，实现网关与云端连接的步骤。专业版（LE Pro）规格的详细说明请参见 产品规格。准备工作 LE Pro版需要您提前安装好Docker环境，请参见 Docker官方...
创建Custom Container函数
当函数计算平台的标准运行时无法满足您的业务需求时，可以选择自定义容器函数。本文介绍如何在 函数计算 控制台或使用Serverless Devs创建Custom Container函数。注意事项 在函数计算中，创建Custom Container函数必须使用相同地域内 阿里...
购买及登录数据资源平台
使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件 已创建阿里云账号，具体操作，请参见 创建阿里云账号。背景信息 数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台 在数据...
- 产品推荐
- 这些文档可能帮助您