测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
新建数据采集接口
通过 Quick Tracking 使用数据采集服务的流程如下：配置数据采集渠道（App、小程序、Web）接口，并获取AccessKey，具体操作请参见下文。获取 Quick Tracking 的SDK，并使用上一步中获得的AccessKey进行数据采集程序的开发与部署。SDK和程序...
应用场景
智能对话机器人的应用场景主要分为在线人机交互和...四、智能服务解决方案 企业可以基于本产品及关联产品，构建一套7X24小时全天候在线、支持人机联动、多渠道统一服务、多模态服务输出的全方位智能服务业务系统，给用户带来更好的服务体验。
通过全服务端SDK快速启动实例
如您还没有曝光数据的终端埋点，可以按上图方式选择“否，需特殊处理”，即可切换为推荐系统特殊处理模式，即智能推荐会通过服务端下发请求的方式构建曝光数据。注意：用户系统曝光数据时效原因，将仅支持7天以内的曝光过滤配置，若超出7天...
日志同步报警
若您购买了数据采集功能包，并在 组织系统配置 中配置了采集数据同步服务，系统将采集的日志数据加工成可用于分析筛选的行为数据，并将加工好的数据自动同步到用户指定的ADB3.0数据源中。若未成功同步数据到用户指定的数据源，则将在消息...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
V3.3.41版本说明
V3.3.41中，自动化营销支持通过 阿里云Quick Tracking 数据采集获取实时行为事件，智能实验室的品牌高潜预测、商品匹配推荐分别成为独立模块并更名为复购预测、货品推荐，此外，还对功能、交互进行了多项优化升级。发布时间 2021年12月16日...
什么是自动驾驶开发平台
能够解决的问题如下 海量非结构化数据快速预处理 利用数据管理并行计算框架，在阿里云上以云原生的方式分布式处理海量非结构化数据，采集到的感知数据处理效率提高10倍。感知数据多模态检索 无论是经过标注还是未经标注的传感器输出数据，...
服务端埋点验证
1 打开埋点验证 打开产品首页，点击顶部导航“数据采集”进入数据采集模块，点击顶部导航“埋点验证”在埋点验证模块内，选择“服务端验证”2 生成DebugKey 3 将DebugKey设置在代码中 将第2步生成的DebugKey配置在上报的日志中，注意代码...
推送采集数据
方法 POST URI/v3/openapi/app-groups/{appName}/data-collections/{dataCollectionName}/data-collection-type/{dataCollectionType}/actions/bulk appName 指的是 opensearch 应⽤名称 dataCollectionName 指的是数据采集名称，...
召回引擎版介绍
离线索引构建系统将用户的数据构建成索引，包括全量索引、批次增量索引、实时索引；管控系统为用户提供自动化运维服务，方便用户创建集群并对集群进行各种运维操作。 在线系统 在线系统是一个分布式检索系统，由三个角色构成：admin、qrs...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
应用画像
对象汇总 对象汇总主要罗列了应用采集与智能分析出的SQL与数据库对象情况汇总，可以直观通过数据看到应用画像的整体内容。对象详情 对象详情是详细展示了ADAM智能分析后的数据库对象与应用SQL以及应用代码的关系。其中左边是以SCHEMA和对象...
数据湖构建之MaxCompute湖仓一体最佳实践
MaxCompute+DLF湖仓一体方案打破数据湖与数据仓库割裂的体系，架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合，构建数据湖和数据仓库融合的数据管理平台。本文介绍湖仓一体的具体方案。背景信息 大数据计算服务...
快速入门
Logstash快速入门 Beats Beats是轻量级的数据采集工具，支持一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的，具备采集、监控、...
使用限制
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时注意不要超过相应的限制值，以免出现异常。数据湖元数据 限制项 用户配额 单表QPS 500 单表分区数量 100万 数据湖入湖预处理作业 限制项 ...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
数据采集
日志数据采集 内部的各类日志会被采集并发送到SLS日志服务系统中进行统一的存储和加工，日志数据主要包括：审计日志：用于记录用户的所有的操作行为，例如DDL操作和DML操作等。查询详情日志：用于记录一条查询在执行过程中的详细信息，包括...
全量数据索引构建
全量数据构建 在HBase Shell中执行 build_external_index 为HBase表中的历史数据构建索引，该命令是异步执行的。重要 全量构建索引过程中，会阻塞HBase表的DDL操作，直到构建完成才能继续执行，但不会影响表的读写。hbase shell>build_...
数据开发概述
可视化构建数据仓库的模型，逻辑表提交后即生成对应智能黑盒调度任务，自动化生产数据。说明 仅绑定数据板块的项目支持 规范建模 功能。数据处理：通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。即席查询...
Designer使用案例汇总
智能推荐解决方案 案例名称 描述 推荐业务端到端的完整方案 介绍实现推荐系统的完整方案。基于对象特征的推荐 介绍如何基于对象特征进行商品推荐。使用FM-Embedding实现推荐召回 介绍如何使用FM算法和Embedding提取算法，快速生成User和...
用户窃电识别
例如通过采集电量异常、负荷异常、终端报警、主站报警及线损异常等信息监测窃漏电情况及计量装置故障，或根据报警事件发生前后客户计量点电流、电压及负荷数据情况，构建基于指标加权的用电异常分析模型，从而检查用户是否窃电或计量装置...
SQL周期性采集
在Linux 环境下执行.sh，本文以Linux环境介绍如何进行数据采集）。Oracle 10g、11g sh collect_10g_cycle.sh –h<ip>-u<username>-p<password>-d<service_name>-c<cron>sh collect_11g_cycle.sh –h<ip>-u<username>-p<password>-d...
数据开发概述
可视化构建数据仓库的模型，逻辑表提交后即生成对应智能黑盒调度任务，自动化生产数据。说明 仅绑定数据板块的项目支持 规范建模 功能。数据处理：通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。即席查询...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
发电场输出电力预测
数据集 本工作流数据采集自UCI机器学习数据集中的混合发电场数据，详情请参见 混合发电场数据集。该数据集共9568条样本数据。每条数据包括AT（温度）、V（压力）、AP（湿度）、RH（压强）及PE（输出电力）。工作流的示例数据如下。发电场...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
LLM智能问答版介绍
LLM智能问答版简介 快速接入教程 LLM智能问答版面向行业搜索场景，提供企业专属问答搜索服务。基于内置的LLM大模型，一站式快速搭建问答搜索系统。LLM智能问答版可以基于客户自身的业务数据，自动生成问答结果、参考图片、参考链接等内容，...
实时数据采集
本文为您介绍如何使用智能制造平台AICS实时数据采集模块。创建通道 登录 工业数据中台IGate。在通道管理页面，单击右上角 新增通道 按钮。通道是测点数据的来源，如果不使用IGate主动采集则不需要添加通道，可使用默认提供的平台标准通道，...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
异常指标监控
背景信息 用户系统中的异常数据（例如运维系统的CPU消耗突然增高或某平台突然产生大量不良信息）属于平台异常指标。如果能实时高效地监控平台指标，并对各种异常指标进行预防和实时预警，将大幅度提升平台的智能化安全防卫能力。解决方案 ...
数据集概述
在数据源模块中配置好所需数据源后，基于产品内置的消费者运营模型，您可以完成企业一方用户标签数据集、行为数据集等的创建，为后续的洞察圈选、营销投放功能提供数据基础。支持创建以下数据集：用户标签数据集：基于用户标签大宽表构建...
快速入门
三维城市构建器提升了三维资产的易用性、渲染视效、支持更多精准时空数据、扩大城市基础数据资产库，真正降低“数字孪生城市”的构建门槛，使得“数字孪生城市”成为一项技术普惠。本文为您演示如何在DataV产品内使用三维城市构建器的具体...
快速入门
三维城市构建器提升了三维资产的易用性、渲染视效、支持更多精准时空数据、扩大城市基础数据资产库，真正降低“数字孪生城市”的构建门槛，使得“数字孪生城市”成为一项技术普惠。本文为您演示如何在DataV产品内使用三维城市构建器的具体...
添加Dataphin成员
若您使用的是非Dataphin自建账号体系，在开始使用Dataphin构建智能数据前，需要将您企业不同角色的人员加入至Dataphin，便于后续数据的研发。本文为您介绍如何添加成员。权限说明 超级管理员和系统管理员支持添加成员。所属部门信息说明 ...
创建数仓分层
数仓分层是结合对业务场景、实际数据、使用系统的综合分析，对数据模型进行的整体架构设计及层级划分。用于将不同用途的数据，归类划分至不同的分层，便于您更好地组织、管理、维护数据。本文为您介绍如何创建并管理数仓分层。背景信息 ...
- 产品推荐
- 这些文档可能帮助您