DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
DataWorks on EMR Serverless StarRocks最佳实践
数据服务概述 数据地图 DataWorks的数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。数据地图概述 前提...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
管理预置指标表
预置指标是物联网数据服务平台默认描述设备情况的维度，预置指标表是一组预置指标的集合，指标数据默认是关闭统计的。您可开启预置指标表统计预置指标数据，并将预置指标表实例化为数据API，用于获取统计的指标数据。本文介绍如何查看预置...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
历史趋势
查看指标数据历史趋势的步骤如下：登录控制台，单击 产品与服务>移动开发平台 mPaaS，选择应用。在导航栏左侧，单击 移动分析>数据概览。在右侧页面，单击 历史趋势 标签，进入实时大盘页面。设置数据过滤条件，包括平台、版本、渠道维度和...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、...
Doris概述
统一数仓构建：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。基于Doris构建的统一数仓，替换了原来由Spark、Hive、Kudu、Hbase、Phoenix组成的旧架构，架构大大简化。数据湖联邦查询：通过外表的方式联邦分析位于Hive、...
API概览
DescribeDataSharePerformance 查看数据共享的性能指标 查看数据共享的性能指标。SetDataShareInstance 将实例加入或移出数据共享 将AnalyticDB PostgreSQL版实例加入数据共享或从数据共享中移除。诊断与优化 API 标题 API概述 ...
大模型RAG对话系统
EAS提供了场景化部署方式，通过简单配置几个参数，您便可以一键部署集成了大语言模型（LLM）和检索增强生成（RAG）技术的对话系统服务，显著缩短服务部署时间。在使用该服务进行推理验证时，它能够有效地从知识库中检索相关信息，并与大...
应用场景
适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...
模型创建
Lindorm AI引擎支持导入预训练AI模型，对数据库内的数据进行分析和处理或对时序数据进行建模，执行时序分析类任务。语法 CREATE MODEL model_name FROM {table_name|(select_statement)|model_file_path|huggingface_repo|modelscope_repo}...
异常指标监控
如果能实时高效地监控平台指标，并对各种异常指标进行预防和实时预警，将大幅度提升平台的智能化安全防卫能力。解决方案 PAI提供了一套基于指标监控的分类算法，将异常指标监控抽象为二分类场景，并将监控模型部署至在线系统，从而实现近线...
到期提醒与停机策略
本文将为您介绍数据资源平台的到期提醒与停机策略。到期提醒 数据资源平台实例到期前的168小时（7天）、72小时、24小时，系统将会给您发短信，提醒您所购买的实例即将到期。请您及时备份数据或续费，避免影响正常使用。停机策略 数据资源...
发现
发现帮助用户完成数据资产申请、数据资产服务、数据资产共享。通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高...包括指标、数据表和API各类型资产的资产公开数据、资产类目分类和近期公开资产等信息。
产品简介
数据源 提供数据的源点，会根据这些数据来构建私域知识库，用于后续的检索、知识问答 大模型 大规模预训练语言模型是指使用海量文本数据进行预训练的语言模型。它通过学习大量的语言知识和语境信息，能够生成高质量的文本或提供语义理解。...
应用场景
本文为您介绍向量检索服务在 电商智能搜索和偏好推荐、自然语言处理等AI问答系统、图库类网站多模态搜索、视频检索、分子检测与筛选等场景下的应用。电商智能搜索和偏好推荐场景 在电商智能搜索和偏好推荐场景中，向量数据库可以实现基于...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
阿里云Elasticsearch与自建集群对比
自建Elasticsearch集群无最低保障，需要极强的技术实力和较高的投入，才能降低业务风险。功能成本 免费提供X-Pack商业插件的所有高级特性。提供免费的OSS数据备份功能。需要付费购买价值5000美元的X-Pack商业套件。自行备份，备份空间独立...
零售电商数据建模
层级 描述 数据引入层 ODS（Operational Data Store）ODS层用于存放 未经过处理的原始数据 至数据仓库系统，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。公共维度层 DIM（Dimension）DIM层使用维度...
参考：Proxima CE全量参数说明
当某个类目下的doc数超过该阈值时判断该类目走大类目检索，否则走小类目检索，其中小类目检索默认采用线性检索方式，且多个小类目数据合并在一起检索。1000000 category_col_num 按类目查询时，小类目（doc数小于100万）构建索引的列数，...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
核心优势
HBase增强版在RPC、内存管理、缓存、日志写入等方面深度优化，通过高性能数据结构、协程、合并提交、可检索编码等核心技术大幅提升读写的性能，在相同资源规格下，吞吐性能平均达到HBase社区版的3倍，最高可达HBase社区版的7倍以上。...
MaxCompute表数据
包括数据检索、数据预览、查看元数据详情、查看数据血缘关系、分类分组管理数据表等操作。本文为您介绍如何在数据地图查看和管理MaxCompute表。前提条件 已绑定MaxCompute引擎至当前工作空间，绑定后DataWorks会面向引擎自动采集元数据，...
智能数据建模计费标准
智能数据建模使用包年包月计费模式，根据您在智能数据建模产品内创建的对象数量进行计费。您可根据实际需求，选购智能数据建模产品的不同规格。同时，智能数据建模为您提供了单独计费的行业模型模版，您可购买该模版快速构建属于您的数据...
CREATE MODEL
检索问答 RETRIEVAL_QA 使用指定数据表中的知识库结合大语言模型构建一个检索增强生成（Retrieval Augmented Generation，RAG）应用。时序预测 TIME_SERIES_FORECAST 时序预测类任务。时序异常检测 TIME_SERIES_ANOMALY_DETECTION 时序异常...
什么是云数据库HBase
云原生多模数据库Lindorm）、全文检索（参见Lindorm产品）等能力，结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量场景下的存储、检索、分析需求，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景的数据...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
网络大盘
网络大盘提供网关的实时网络请求数据分析，包括网络请求响应时长、网络请求失败率、请求数、DNS 用时、TCP 建连用时等网络传输指标，以及指标数据的地域分布情况。查看网络大盘数据的步骤如下：登录控制台，进入 产品与服务>移动开发平台 ...
Query Profile介绍
Exchange Operator Sink 指标 说明 PartType 数据分布模式，包括UNPARTITIONED、RANDOM、HASH_PARTITIONED和BUCKET_SHUFFLE_HASH_PARTITIONED。BytesSent 发送的数据大小。OverallThroughput 吞吐速率。NetworkTime 数据包传输时间（不包括...
GetDoctorHDFSCluster-获取HDFS分析结果
通过EMR Doctor获取集群HDFS数据分析结果。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必...
GetDoctorHiveTable-获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。Name string 指标名称。warmDataSize Value long 指标值。14981 Unit string 指标单位。MB Description string 指标描述。Size of the warm data size ColdDataSize ...
GetDoctorHDFSDirectory-获取HDFS特定目录分析结果
通过EMR Doctor获取集群HDFS特定目录数据分析结果，目录不超过5级。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
GetDoctorHiveDatabase-获取Hive库信息
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of cold files FreezeDataSize object 极...
引擎类型
云原生多模数据库 Lindorm 内含宽表引擎、时序引擎、搜索引擎、文件引擎、计算引擎和流引擎，兼容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS、Kafka等多种开源标准接口，同时提供SQL查询、时序处理、文本检索分析等能力。为应对动态变化的...
GetDoctorHiveCluster-获取 Hive 集群信息
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of cold files FreezeDataSize object 极...
2023-06-07
查看使用文档 数据指标功能开放预置指标开启 数据服务的数据指标功能开放预置指标开启，当前平台内置了28个预置指标，开启后会定期进行任务调度刷新指标值，并可通过数据服务API查询。查看使用文档 购买IoT Studio服务赠送备案号 购买物...
ListDoctorHiveDatabases-批量获取 Hive 库信息
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of cold files FreezeDataSize object 极...
- 产品推荐
- 这些文档可能帮助您