Kafka实时入湖
数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理，目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 ...
联邦建模概述
联邦数据处理：对联邦表中的数据进行预处理，包括数据预处理和预处理应用。模型训练：使用预处理过的训练集数据训练模型。模型评估：使用预处理过的测试集数据评估模型效果。典型的模型开发业务逻辑如下图所示，其中，离线样本生成的三种...
任务配置
数据预处理 数据预处理节点的构建流程如下：将系统节点列表中的“数据预处理”节点拖拽至画布。配置节点属性。其中，关键参数说明如下：数据预处理算子名称：选择所需算子；可选项为您自定义的或平台自带的数据预处理算子（可在“数据定义>...
数据准备与预处理
step3：数据预处理 本示例使用的原始数据为公开的心脏病案例的数据，数据预处理以将所有字段取值归一化为例，为您展示数据预处理的步骤。本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
什么是自动驾驶开发平台
数据管理提供自动驾驶采集数据在云上数据预处理、预标注、管理、检索、重组、回放、输出到仿真或训练系统中的能力：非结构化数据处理针对非结构化数据处理提供DAG调度和并行计算能力，构建自动调度的10倍加速的自动驾驶数据工作流 多模态...
数据导入方式介绍
常见使用场景 数据预处理后导入 业务端实时产生日志文件，需要对日志文件进行自动化解析并实时导入 AnalyticDB MySQL。非云上数据导入 当数据无法上传到OSS、HDFS或者MaxCompute时，需要将本地数据导入 AnalyticDB MySQL。使用方法与建议 ...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
基于Tair Vector实现图文多模态检索
您可以先通过 CLIP模型 将图片、文档等数据预处理，然后将CLIP的预处理结果存入Tair中，根据Vector提供的近邻检索功能，实现高效的图文多模态检索。更多关于Tair Vector的信息，请参见 Vector。方案概述 下载图片数据。本示例使用的测试...
功能更新动态（2022年之前）
实时数据处理 数据集成 致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。数据集成 告警中心 为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表。告警中心 资产质量 为您提供全链路...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
日志数据预处理与投递
本视频介绍如何对日志数据进行预处理与投递。
数据解析概述
物联网平台的数据服务提供数据解析功能，通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后，将数据流转到业务服务器，或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面，创建和...
数据处理与路由规则
通过配置数据处理规则，您可以在设备数据进行上链之前，对数据进行预处理，以进行脱敏和保护。通过配置路由规则您可以在“产品”维度把某产品下的设备数据路由到区块链中，通过切换不同的路由规则，您可以灵活的把设备数据路由到不同的区块...
模型优化
比如数据的预处理阶段，尽可能去除掉对于结果无关的噪音。还可以尝试我们平台提供的数据增强功能，对数据集进行扩充。分析 bad case，有针对性地补充数据。比如，您发现模型对于某一种类别经常分不对，很有可能是该类别数据量太少的原因，...
PyODPS概述
常见的需求，比如需要对每一行数据处理然后写回表，或者一行数据要拆成多行，都可以通过PyODPS DataFrame中的 map 或者 apply 实现，有些甚至只需要一行代码，足够高效与简洁，案例可参见 使用自定义函数及Python第三方库。使用这些接口...
系统函数分类
数据探索自身预置了诸多函数，用于常见的数据处理需求。这些预置的系统函数具有跨引擎的特点，在离线、实时、在线3种模型的不同引擎中具有相同的行为和使用方式。本文为您介绍数据探索提供的系统函数类型及函数使用相关说明。函数分类 数据...
什么是数据库备份DBS
常见问题和故障处理 使用DBS时遇到的各类问题，例如需要修改备份源数据库、数据库恢复失败、如何备份RDS只读实例等，您可以在 常见问题 或 常见报错 内查找，可以解决您的绝大部分问题。说明 若在文档中未找到您遇到的异常或报错，或按照...
什么是ETL
离线数仓加速：通过流数据处理先将数据预处理至数仓，后续再对数仓数据进行深度挖掘。既不影响业务库运行，也能满足离线数仓对外服务。报表提速：构建实时报表体系，不仅大幅提升报表产出效率，还能支持更多实时分析场景，满足了企业数字化...
流式ETL
离线数仓加速：通过流数据处理先将数据预处理至数仓，后续再对数仓数据进行深度挖掘。既不影响业务库运行，也能满足离线数仓对外服务。报表提速：构建实时报表体系，不仅大幅提升报表产出效率，还能支持更多实时分析场景，满足了企业数字化...
预处理规则管理
查看预处理规则详细信息 在预处理规则列表中，单击预处理规则名称链接，即可查看该预处理规则的详细信息，包括该预处理规则在各节点中的存储地址、预处理配置和关联的任务等信息。基本信息 在预处理规则的 基本信息 页签下，可以查看预处理...
亿海蓝-航运大数据的可视化案例
原始数据使用DLA Ganos进行高效预处理，降低数据提取和结果数据再落地时间。数据抽取结果存储到Ganos on Lindorm中，Lindorm的低延迟、高性能、高吞吐查询能力保障业务能流畅显示。整体系统架构方案如下图所示：航运数据可视化分析系统架构...
存储资源
常见的容错策略如下：布隆过滤器：使用布隆过滤器对请求进行预处理，过滤掉一部分可以明确判断不存在的请求。布隆过滤器是一种空间效率高、判断存在与否比较快速的数据结构，可以快速判断请求的key是否可能存在，从而减轻后续查询的压力。...
产品系列
适用场景包含离线处理场景（数据清洗、数据规整等预处理操作）、多源聚合分析和拉宽场景、预测洞察（机器学习和AI）等业务场景。数仓版（3.0）弹性模式 数仓版（3.0）是基于计算存储分离架构打造的，支持海量数据实时写入可见及高性能在线...
从自建MySQL迁移至RDS实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建MySQL迁移至 RDS MySQL 或RDS ...常见问题 Q：预检查失败如何处理？A：详情请参见 源库连接性检查。Q：迁移失败的任务如何处理？A：详情请参见 修复迁移失败的任务。
从自建MySQL迁移至MyBase MySQL
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据迁移任务不会被启动。说明 如果目标库中同名的表...
功能特性
运维人员可以根据常见故障场景的处理过程，选择需要的原子能力进行编排组合，形成可执行的应急预案。当风险事件发生时，风险事件中心会推荐可执行的应急预案，供运维快速选择并自动化执行，从而通过标准化处理流程，实现故障快速恢复。故障...
图文解释
数据预处理 无需配置，不生效。接入方式 无需配置，不生效。卡片样式配置 无需配置，不生效。标注区（caption）（必选）标注区（caption）用于配置需要标注解析的文字字段。单击选中 标注区（caption）后，在右侧 配置 区域配置具体参数。...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
产品简介
产品简介 阿里巴巴通义实验室千寻搜索算法，基于达摩院长期积累的自然语言处理技术，专注企业统一搜索场景，提供精准的多源异构搜索，以PaaS服务形式提供离线数据处理和搜索服务API。同时支持公有云、专有云、基于云原生的基础架构下混合云...
SmartData常见问题
本文汇总了使用SmartData时的常见问题。基本概念 什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS...
Tair集群无感扩缩容
后台预拷⻉：Tair 集群版采用后台预拷⻉方式，数据拷⻉过程中不会影响线上业务，拷⻉完成前源端持有完整数据，规避大Key迁移卡顿等问题。一键回滚：在扩缩容过程中若发生异常情况，支持一键回滚。数据按槽（Slot）迁移：数据按Slot迁移，...
Tair集群无感扩缩容介绍
后台预拷⻉：Tair集群版采用后台预拷⻉方式，数据拷⻉过程中不会影响线上业务，拷⻉完成前源端持有完整数据，规避大Key迁移卡顿等问题。一键回滚：在扩缩容过程中若发生异常情况，支持一键回滚。数据按槽（Slot）迁移：数据按Slot迁移，...
常见问题
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的常见问题和解答。基本问题 Q：什么是 PolarDB？A：PolarDB 是一个关系型数据库云服务，目前已在全球十多个地域（Region）的数据中心部署，向用户提供开箱即用的在线数据库服务。PolarDB 目前...
数据预处理
对于文本数据而言，通常文本数据里面会含有很多跟任务无关的噪音，这时应该进行文本的预处理。在NLP自学习平台内置了一些预处理规则，如果您觉得有必要进行预处理，可以选择这些规则。我们内置的规则包括：去除 URL 链接；去除 emoji 表情...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL，帮助您轻松实现数据的流转，集中分析企业数据。前提条件 快速创建RDS SQL Server实例，支持的版本，请参见 同步方案概览。重要 ...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL，帮助您轻松实现数据的流转，集中分析企业数据。前提条件 快速创建RDS SQL Server实例，支持的版本，请参见 同步方案概览。重要 ...
RDS PostgreSQL同步至RDS MySQL
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据同步任务不会被启动。说明 如果目标库中同名的表...
RDS SQL Server实例间数据迁移
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据迁移任务不会被启动。说明 如果目标库中同名的表...
- 产品推荐
- 这些文档可能帮助您