权限管理与规范化数据开发
进入 数据建模 阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案，我们将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上...
什么是自动驾驶开发平台
能够解决的问题如下 海量非结构化数据快速预处理 利用数据管理并行计算框架，在阿里云上以云原生的方式分布式处理海量非结构化数据，采集到的感知数据处理效率提高10倍。感知数据多模态检索 无论是经过标注还是未经标注的传感器输出数据，...
计费逻辑说明
智能数据建模计费标准 DATABLAU数据建模 DATABLAU是DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供的一体化数据建模解决方案。用于将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力您实现数据资产价值化...
文本内容风控解决方案
针对该问题，阿里云 PAI 提出了如下解决方案，借助人工智能算法，帮助您快速判断风险内容：解决方案 基于 iTAG 平台和PAI数据集管理，对目标场景的文本进行快捷标注和样本管理。基于PAI提供的BERT迁移学习预训练模型，针对自己的文本风控...
产品简介
高性能 针对多个参与方可能出现的高延迟、低带宽问题，产品在通信机制上进行了优化，如采用模型/梯度稀疏化的方案，实现了对大规模、分布式模型训练的可靠支持。针对部分数据异构和算力异构的问题，则采用了 client 模型个性化算法，优化和...
混合检索使用指南
具体是通过优化器的RBO（Ranked-Biased Overlap）代价估算规则，生成不同的执行计划来解决结构化数据与非结构化数据需要同时检索的问题。下文通过一个例子来说明混合检索的原理。假设有一个带条件的拍图查找商品需求：查找与输入图片相似度...
文档修订记录
查看运维大屏 2023.6.25 新增功能 数据建模 数仓规划>系统管理 支持自定义使用代码模式建模时，其他引擎DDL语句中Comment字段对应可视化建模界面中的名称还是描述信息。系统管理 2023.6.16 新增功能 数据开发 流程参数支持Hologres SQL节点...
导入与导出
若源库中存在 AnalyticDB MySQL 不支持的数据类型（例如地理位置数据等类型），AnalyticDB MySQL 在进行结构初始化时会丢弃掉不支持数据类型的列。支持的数据类型，请参见 基础数据类型 和 复杂数据类型 DTS同步数据至AnalyticDB MySQL集群...
客户案例
客户需求 希望优化数据体系结构，解决如下难点、痛点问题：业务团队对全域数据资产无感知，且数据需求响应时间长。组件繁多，运维、开发成本高。昼夜资源使用量不均，资源利用率低。扩展性差，扩容、升级存在一定难度和风险。数据质量难...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
功能发布记录
创建和管理结构对象 创建和管理服务方法 创建和管理页面 可视化编排服务方法 可视化编排页面 创建和管理静态变量 创建和管理轻应用模板 示例：使用轻应用模板 优化运营平台 优化能力上下架逻辑：商业能力上下架操作无需指定版本，可对能力...
求解器用户手册
计算设备配置参考：LP求解时不同算法特性 配置机器资源时候，不同问题结构、算法选择，耗费的机器资源会有差异，请根据需要测试选择。关于LP求解，当前我们线性规划（LP）的求解提供了Simplex（单纯形法）、IPM（Interior Point Method，内...
变更日志
[0.9.3-stable.1.11.0-rc1]Fixed 修正扫描过程结构对象package命名与接口不匹配问题。为下一个版本其他功能准备。[0.9.2-stable.1.11.0-rc1]Fixed 修正扫描过程来源标注，区分 code 和 fake 类型的问题。Changed 双向联动配置及JavaDoc相关...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
图像内容风控解决方案
针对该问题，阿里云 PAI 提出了如下解决方案，借助人工智能算法，帮助您快速判断风险内容：解决方案 基于 iTAG 平台和PAI数据集管理，对目标场景的图像进行快捷标注和样本管理。基于PAI提供的预训练模型，针对自己的图像风控场景，在可视化...
什么是人工智能平台PAI
PAI提供的服务：可视化建模和分布式训练Designer，详情请参见 可视化建模（Designer）。Notebook交互式AI研发DSW（Data Science Workshop），详情请参见 交互式建模（DSW）。分布式训练DLC（Deep Learning Containers），详情请参见 分布式...
网络运维场景
图数据库GDB可以轻松的对IT、网络运营的海量数据进行建模，将原始关系型数据库中结构化数据转换图数据库中的节点和边，不仅能减少DBA的数据建模工作量，又能够提升查询效率。解决传统解决方案中数据量超过一定量级时不能使用数据库和使用...
游戏运营融合分析
场景描述 游戏行业有结构化和非结构化数据融合分析需求的客户。游戏行业有数据实时分析需求的客户，无法接受T+1延迟。对数据成本有一定诉求的客户，希望物尽其用尽量优化成本。其他行业有类似需求的客户。解决问题 秒级实时分析：依托...
数据集成概述
使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步数据必须抽象为结构化数据）的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步，不支持同步OSS中存放完全非...
计费概述
无（目前免费试用）无 无 Designer Designer 是基于云原生架构的可视化建模工具，提供可视化的机器学习开发环境。运行常规机器学习组件产生的费用。运行深度学习组件产生的费用。后付费（按量计费）预付费（包年包月）Designer计费说明 DSW...
应用场景
该场景可实现：实时多源数据同步 支持多业务数据源，结构化非结构化数据的实时同步。营销效果实时反馈 支持对海量日志数据和业务进行即时的复杂关联计算，提高营销效果反馈及时性。商业智能报表 该场景要求支持海量数据实时入库和计算，...
人工智能平台 PAI
人工智能平台 PAI（Platform of Artificial Intelligence）面向企业客户及开发者，提供轻量化、高性价比的云原生人工智能，涵盖DSW交互式建模、Designer拖拽式可视化建模、DLC分布式训练到EAS模型在线部署的全流程。
内置时空数据引擎Ganos
空间和时空数据具有非结构化、体量大、数据密集兼具计算密集以及较高安全合规属性。PolarDB PostgreSQL版（兼容Oracle）的自研Ganos时空SQL引擎支持直接在数据库中就完成不同时空维度数据的信息检索及处理，相比传统需要跨库信息提取再汇总...
容器镜像仓库构建服务失败问题排查
若出现问题会导致镜像构建失败。本文详细列举了在容器镜像构建过程中可能出现的问题现象、失败原因分析及解决方法。绑定源代码仓库失败 说明 为了使用容器镜像构建服务，需要在创建镜像仓库时选择绑定相应的代码仓库。问题现象一：在选择...
方案选择
表格存储作为面向海量结构化数据提供的Serverless表存储服务，具有海量数据存储、热点数据自动分片、海量数据多维检索等功能，能有效解决订单数据大爆炸的挑战。同时，多元索引 功能在保证用户数据高可用的基础上提供了数据多维度搜索、...
2、PM如何设计工作流和创建看板？
作者：舍卫｜阿里巴巴集团技术专家 看板设计可分四个步骤进行：1、分析价值流动过程（工作流的分析）2、选取可视化设计元素 3、用看板建模价值流动过程 4、如何在云效上配置工作流和看板 1、分析价值流动过程 分析价值流动过程是看板设计的...
应用上云方案设计
应用容器化规范化改造 容器化的应用必须要规范化，我们不希望所完成的容器镜像只能在生产环境中运行，也不希望该容器有着外部依赖，我们希望应用在容器化之前，最少满足以下三项要求：与操作系统解耦，能在各种系统中运行并有极大的可移植...
功能发布记录 2022年之前
DataWorks提供的ClickHouse SQL节点，实现分布式SQL查询引擎处理结构化数据，提高作业的执行效率。2021.05.15 全部地域。配置ClickHouse数据源 创建并管理工作空间 创建ClickHouse SQL节点 2021-04 功能名称 功能描述 发布时间 发布地域 ...
DataWorks On EMR使用说明
权限控制 4 DataWorks提供数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。还提供 数据开发（DataStudio）功能，用于调度任务的开发，并与运维中心配合使用，进行调度任务的监控运维。数据建模与开发 5 ...
DataWorks On Hologres使用说明
开始使用：数据建模与开发 DataWorks提供数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。还提供 数据开发（DataStudio）功能，用于调度任务的开发，并与运维中心配合使用，进行调度任务的监控运维。开始...
DataWorks On CDP/CDH使用说明
开始使用：数据建模与开发 DataWorks提供数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。还提供 数据开发（DataStudio）功能，用于调度任务的开发，并与运维中心配合使用，进行调度任务的监控运维。开始...
Tair小版本发布日志
缺陷修复 修复开启全球多活后，集群架构实例在扩缩容时可能会小概率出现崩溃的问题。5.0.25 LOW 2023-01-13 功能优化 TairSearch全面支持分词器框架，更多信息请参见 Search分词器。TairSearch中的term和terms查询支持设置 lowercase 参数...
MLP二分类/MLP多分类/MLP回归
一、组件说明 MLP二分类是指使用多层感知机（Multi-Layer Perceptron）进行二元分类问题的解决。多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用...
DataWorks On MaxCompute使用说明
开始使用：数据建模与开发 DataWorks提供数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。还提供 数据开发（DataStudio）功能，用于调度任务的开发，并与运维中心配合使用，进行调度任务的监控运维。开始...
服务运维
优势 劣势 独立进程 兼容传统的部署模式改造成本低快速上线 侵入业务容器镜像化难于运维 Sidecar 面向终态运维解耦 依赖 K8s 基础设施运维环境改造成本高应用需要镜像化改造 在接入 Service Mesh 之后，一个典型的 Pod 结构可能包含多个 ...
DataV使用静态资源&组件兼容介绍
本文从静态资源的使用和组件兼容更新两方面介绍自定义组件开发问题的解决方法。静态资源 在自定义组件中，经常会使用到本地的一些静态资源，但是有时您可能会遇见，本地可以运行的资源，在线上却报出 找不到资源 的错误，所以本文将从以下...
横向MLP二分类/MLP多分类/MLP回归
一、组件说明 横向MLP二分类是指使用多层感知机（Multi-Layer Perceptron）进行二元分类问题的解决。多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，...
通过无锁变更工单实现无锁结构变更
为解决变更数据库表结构时的锁表问题，数据管理DMS 推出了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务和数据库原生OnlineDDL带来的主备延迟问题。本文介绍通过提交无锁变更工单实现数据库无锁结构变更的方法。前提条件 ...
搜索结构化数据
结构化数据页面可以查看计算服务分析的实时或历史结构化数据信息。操作步骤 登录 城市视觉智能引擎控制台，进入实例详情页面,单击页面左侧菜单栏的搜索服务下的结构化数据。在结构化数据页面设置查询条件，单击搜索。搜索实时数据时，需要...
Designer使用案例汇总
基于组件化EasyRec框架快速搭建深度推荐算法模型 组件化EasyRec框架可以帮助你以“搭积木”的方式快速构建想要的模型结构。使用ALS算法实现音乐评分预测（旧版）介绍如何使用ALS矩阵分解算法预测用户对音乐的评分。智能风控解决方案 案例...
- 产品推荐
- 这些文档可能帮助您