通用数据查询与管理
查找表 您可以在数据地图中快速查找支持的各类引擎的表，并可在表详情页面查看表的字段、血缘等详情，并可快捷的进行申请权限、加入数据专辑、进行数据分析等操作。通过首页查找表 单击左侧的菜单栏的 图标，进入首页。您可以在首页通过...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
数据源分类
本文介绍DataV服务中数据源的分类，通过查看不同的数据源类型，在创建完成后可以快速查找。数据源类型 数据源名称 数据库 RDS for MySQL、RDS for PostgreSQL、交互式分析Hologres、RDS for SQLServer、AnalyticDB for MySQL、AnalyticDB ...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
数据方案概览
数据导入 支持大批量数据快速导入至数据库。数据导出 SQL结果集导出 支持数据的SQL结果集导出。数据库导出 支持库表数据快速导出。SQL审核/支持对上传的SQL语句进行审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
性能监控
数据库代理企业版提供了性能监控项和秒级监控频率，方便您掌握集群的运行状态并通过细粒度的监控数据快速定位运维问题。除此之外，您可以为数据库代理创建报警规则，以帮助您及时了解数据库代理的监控数据异常并快速进行处理。注意事项 ...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
DAS Auto Scaling弹性能力
如果用户的磁盘数据快速增长，算法预测到其短时间内将会可用空间不足时，也会给出磁盘扩容建议及相应的扩容原因说明。计算规格变配的方案如图3所示，其具体流程为：首先，异常检测模块将针对业务突发流量从多个维度（qps、tps、active ...
管理数据源
您可以根据数据源的类型进行筛选，快速查找指定类型的数据源，也可以通过右上角的搜索框模糊搜索指定数据源。单击目标数据源的 数据源标识，查看该数据源的详细信息。复制数据源 在 OceanBase 管理控制台的左侧导航栏，单击 数据传输>数据...
模型配置
算法模型的优劣依赖于训练数据，数据质量越高，数据量越大，算法效果越好。算法模型使用的行为数据集的数据要求与一般数据集有所不同，请参见 行为数据集样例 准备数据。数据存储于ADB3.0类型的数据源中，且数据源已接入Quick Audience，请...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
创建数据流
您可以通过分区键中的值，快速查找您需要的数据。说明 已配置数据输入节点和连接各节点，您才能选择分区键。将鼠标放在 数据过滤 节点上，单击节点右侧出现的空心圆点并拉出连接线，连接至 数据输出 节点上。此时，节点的 自动消失，表示...
模型配置
算法模型的优劣依赖于训练数据，数据质量越高，数据量越大，算法效果越好。算法模型使用的行为数据集、商品标签数据集的数据要求与一般数据集有所不同，请分别参见 行为数据集样例、商品标签数据集样例 准备数据。行为数据集、商品标签数据...
快速入门
本文介绍大数据专家服务的购买方式。价格 版本定价说明：点击查看价格。操作步骤 第一步：进入阿里云官网，打开 大数据专家服务 产品详情。第二步：点击大数据专家服务产品详情页中的“咨询购买”接入钉群与专家服务同学沟通场景需求。第三...
表管理
DataWorks的表管理模块，可按照表所属主题、表所在引擎维度展示表，并通过引擎类型、表所在环境、表名称等信息进行过滤，快速查找目标表并编辑表信息。同时，也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
功能发布记录（2023年）
2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
数据智能概述
物联网数据服务提供数据智能功能，协助您更好的解读设备数据，了解设备运行状况。功能简介 算法实例 通过配置算法实例，来分析光伏电站运维数据或...后续步骤 查看算法实例运行记录，维护算法数据产出。具体操作，请参见 查看实例运行日志。
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
高维向量检索（PASE）
HNSW基于近邻图的算法，通过在近邻图快速迭代查找得到可能的相近点。在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。...
高维向量检索（PASE）
HNSW基于近邻图的算法，通过在近邻图快速迭代查找得到可能的相近点。在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。...
数据服务概述
DMS数据服务支持将企业托管在DMS上的数据快速迁移至外部。设计理念 数据服务作为DMS的模块，其基于DMS上受控的数据定义API，与SQL Console中执行SQL时的权限控制、数据脱敏等功能检查保持一致。数据服务基于Serverless架构，您无需关注...
高效向量检索（PASE）
HNSW基于近邻图的算法，通过在近邻图快速迭代查找得到可能的相近点。在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
产品优势
本文为您介绍DataV产品的主要优势功能...自定义三维模型 支持自定义三维模型上传与展示，极大的丰富了数据大屏的三维表现力。安全性高 DataV支持发布链接访问和二维码分享访问，通过密码/Token的方式进行访问权限控制，保护您的数据隐私安全。
工作原理
场景二：从某个历史时间点开始执行时序预测作业 在指定的时间点创建时序预测作业后，按照作业规则对历史数据进行处理，算法模型会快速消费历史数据，并逐渐追上当前时间。场景三：修改调度配置 修改调度配置后，下一个实例按照新配置生成。...
产品更新动态
2023年4月 发布时间 2023-04-25 功能名称 功能描述 相关文档 支持数据更新——实现卡片内容的动态数据呈现 通过数据库连接方式的数据源，可以设置数据更新频率，手动/周期完成数据内容的更新，目前支持的可更新数据源是：MySQL、ADB MySQL...
管理数据定义资源
搜索数据定义 在资源搜索框中输入需要查找的资源名称，按 Enter 键，快速查找所需资源。查看数据定义 在资源管理窗口，选中需要查看的数据定义。在检查器窗口查看并编辑 数据定义设置。参数 说明 实体定义 UUID 当前数据定义资源的固定ID。...
时序异常检测
数据服务提供时序异常检测算法，采用智能时序算法，实时分析设备时序数据，准确感知设备异常现象。查看基本信息 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例卡片。在左侧导航栏，选择 数据服务>数据智能。在算法模板列表中...
如何选择备份方式
说明 支持创建DBS沙箱，让您的备份数据快速可用。更多信息，请参见 DBS沙箱功能概览。数据库规模推荐范围 MB~百GB级别。TB级别。支持的数据库 阿里云数据库仅支持 逻辑备份 方式。各个数据库类型支持的备份方式，具体请参见 支持的数据库...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
机器学习开发示例
数据展示%pyspark#数据展示 ml_data.show()ML算法数据打印 步骤四：建立模型、运行线性回归模 说明 在本部分中，您将使用不同的正则化参数运行两个不同的线性回归模型，以基于人口（features）确定这两个模型中的任何一个对销售价格（label...
- 产品推荐
- 这些文档可能帮助您