驱动简介
驱动组成 一个完整的驱动由终端设备的连接管理、数据（协议）转换、数据与命令处理三部分组成：连接管理 指终端设备与边缘一体机建立通信连接。物联网边缘计算不限制建立通信连接的协议，您可根据业务需求灵活选择。数据转换 指驱动将获取...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
设备接入简介
设备接入驱动 一个完整的驱动（设备接入模块）由设备的连接管理、设备的数据（协议）转换和设备的数据与命令处理三个模块组成。连接管理 指设备与网关建立通信连接。Link IoT Edge不限制建立通信连接的协议，您可根据业务需求灵活选择。...
前言
功能插件包括协议转换、拦截器以及动态配置等场景，帮助您高效、低成本、快速完成系统集成能力。培训目标 通过插件机制开放扩展点，赋能外部生态客户，并且提供完备产品化能力。输出标准产品，客户侧自己可以根据培训课程完成定向开发需求...
类型转换函数
如果您在查询与分析数据时需要区分更细维度的数据类型，您可以在查询与分析语句中使用类型转换函数转换数据的数据类型。日志服务支持如下类型转换函数。重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹...
转换函数
本文介绍了 PolarDB-X 支持的转换函数。PolarDB-X 支持如下转换函数：函数名 描述 示例 BINARY 将字符串s转换为...输出：>RUNOOB CAST(x AS type)转换数据类型 字符串日期转换为日期：SELECT CAST("2017-08-29"AS DATE);输出：>2017-08-29
概述
数据链路为：测温器将物理信号转换成数字信息，组装成结构化数据，通过无线网络传输，采用MQTT协议接入阿里云物联网平台。物联网平台的规则引擎模块对原始数据进行过滤、富化、转换，实时输出到业务服务器。业务服务器将数据存储到数据库，...
数据转换
数据转换的类型包括联结、分类。分类：根据指定的字段对查询分析结果进行分组，并针对每组进行计算，参数说明如下表所示。具体操作，请参见 分类示例。参数 说明 选择数据源 选择目标查询分析。例如选择A，表示对查询分析A的结果进行分类。...
最佳实践
但是 轮播列表 需要显示的是对象列表，每个对象内需要包含 value 和 content 两个字段，因此您需要继续执行以下步骤配置数据过滤器，转换数据结构。选中 数据过滤器，并打开 开启过滤器调试 开关。单击 添加过滤器 右侧的 图标，添加一个...
负载说明
DBGateway按照TCP/IP协议解析抓取的网络数据包，过滤其他端口的数据包，只对流入MySQL端口的数据包进行分析。流入MySQL端口的数据包按照MySQL通讯协议拼成完整的SQL。DBGateway将多条SQL打包压缩后，加密上传到DAS的存储集群中。负载说明 ...
使用示例
但是 轮播列表 需要显示的是个对象列表，每个对象内需要包含 content 和 value 两个字段，因此您需要继续执行以下步骤配置数据过滤器，转换数据结构。选中 数据过滤器，并打开 开启过滤器调试 开关。单击 添加过滤器 右侧的 图标，添加一个...
配置AnalyticDB for MySQL输出
前提条件 配置 AnalyticDB for MySQL 输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步支持的数据源。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域...
配置DataHub输出
前提条件 配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。背景信息 DataHub Writer通过DataHub服务的Java SDK向DataHub写入数据，使用的日志服务Java SDK版本如下。groupId>...
其它函数
待转换数据源。type：必填，文本类型。目标数据类型，可选值：STRING,BIGINT,DECIMAL,BOOLEAN,DATETIME,DATE。返回值说明 返回转成目标数据类型的值，当expr或者type为NULL时返回NULL。支持的计算引擎 MaxCompute(ODPS)、MYSQL、RDS、HIVE...
配置Hologres输出
前提条件 配置Hologres输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步支持的数据源。背景信息 Hologres支持的版本：0.7、0.8、0.9、0.10、1.1。字段使用限制：不支持UUID类型的字段。操作步骤 进入 数据开发 页面...
通过Logstash导入数仓版
过滤-实时解析和转换数据 数据从源传输到目标存储的过程中，Logstash过滤器能够解析各个事件，识别已命名的字段来构建结构，并将它们转换成通用格式，从而更轻松、快速地分析和实现商业价值。使用Grok从非结构化数据中派生出结构化数据。从...
配置MaxCompute输出
前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持去重，即如果任务重置位点或者Failover后再启动，会导致有重复数据写入。操作步骤 进入 数据开发 页面。...
数据转换模块
通过数据转换模块可以对数据进行归一化、离散化、Index化或WOE转换。配置组件 您可以使用以下任意一种方式，配置数据转换模块组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 输入表选择的特征...
概述
因此，您可以将文本类型的数据转换为ORC格式或者PARQUET格式，通过DLA扫描转换格式后的数据，在提高数据扫描性能的同时也帮助您节省一定的数据扫描费用。大部分阿里云用户以CSV格式将数据存储在OSS上，若要提高数据扫描性能，需要借助第三...
转换元数据
转换完成后，您可以在数据导入目录下查看已成功转换的文件，还可以前往导入的错误信息目录下查看转换失败的原因。可选：如果您在上一次转换任务完成后，需要对与指定前缀匹配的OSS元数据进行增量转换，请再次单击 启动任务。重要 执行增量...
DML操作常见问题
其中：FLOAT数据类型没有常量定义，若要插入该类型数据，可以使用 CAST 函数转换数据类型。例如 cast(5.1 as float)将字符串 '5.1' 转为FLOAT类型 5.1。MaxCompute SQL中使用到新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、...
CAST
待转换数据源。type：必填。目标数据类型。用法如下：cast(double as bigint)：将DOUBLE数据类型值转换成BIGINT数据类型。cast(string as bigint)：在将字符串转为BIGINT数据类型时，如果字符串中是以整型表达的数字，则会直接将它们转为...
行转列及列转行最佳实践
说明 当您的待转换数据包含有 NULL 值时，使用此方式转换结果会不符合预期，因为 CONCAT 函数任一参数为NULL，返回结果就为NUL。您可以在使用方法二前先使用 NVL 函数，将 NULL 值转换为其他特殊值（例如 0），NVL 函数详情请参见 NVL；或...
JSON_FORMAT
将JSON数据转换成STRING类型，默认不自动进行美化。命令格式 string json_format()参数说明 json：必填，待处理的JSON。返回值说明 返回STRING类型。使用示例 示例1：将NUMBER类型的JSON数据转换为字符串。select json_format(json '123');...
优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化数据转换
Sensors Data（神策）数据源
是 无 其他参数介绍 Sensors Data Writer支持在脚本中对要写入目标数据源的字段，通过添加数据转换器（dataConverters），并定义转换器类型（type），实现要写入目标数据源字段的类型转换，转换器类型及参数示例如下表所示。转换器类型 ...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
转换函数
TO_TMINTERVAL 描述 该函数将 CHAR、VARCHAR2、NCHAR 或 NVARCHAR2 数据类型的字符串转换为 INTERVAL YEAR TO MONTH 值。语法 TO_YMINTERVAL(char)参数 参数 说明 char CHAR、VARCHAR2、NCHAR 或 NVARCHAR2 类型，为要转换的字符串。返回...
S3协议数据压缩
本文介绍如何使用S3兼容协议数据压缩功能。前提条件 宽表引擎为2.4.3.2及以上版本。如何查看或升级当前版本，请参见 宽表引擎版本说明 和 升级小版本。注意事项 设置压缩算法前已存在的历史对象在设置压缩算法后不会被压缩。目前仅支持zlib...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
UTL_I18N
RAW_TO_CHAR Function 将未在数据库字符集中编码的RAW数据转换为VARCHAR2字符串。ESCAPE_REFERENCE 此函数将文本字符串转换为与当前文档使用的字符集不同的字符参考副本。字符引用主要用于HTML和XML文档中，以独立于文档的编码表示字符。...
通配符列
例如，在表结构中加入通配符列 c*int，则可以任意写入列名以“c”开头的列（例如c10、c11、c20等），并且这些列中的数据都会被转换为INT数据类型。前提条件 宽表引擎为2.5.3及以上版本。如何查看或升级当前版本，请参见 宽表引擎版本说明 ...
FROM_CHARSET
MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串，以便后续进行计算时使用。本文为您介绍FROM_CHARSET函数的命令格式、参数说明以及使用示例。命令格式 STRING FROM_CHARSET(binary,string,[string])参数...
添加ClickHouse数据源
本文档介绍在DataV中添加ClickHouse数据源的方法，以及相关参数配置说明。前提条件 已准备好待添加的ClickHouse数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中...
ATAN2
计算 expr1/expr2 的反正切函数。命令格式 double atan2(,)参数说明 expr1：必填。DOUBLE类型。输入为STRING、BIGINT、DECIMAL类型时，会隐式转换为...相关函数 ATAN2函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
如何对JSON类型进行高效分析
包括数据清洗、数据整合、数据转换、数据增强和数据聚合等操作。数据加载（Loading）：将经过转换的数据加载到数据仓库中，包括维度表和事实表。数据管理（Management）：对数据仓库中的数据进行管理，包括数据备份、数据恢复、数据安全等...
Delta Engine 概述
Delta Engine 是与 Apache Spark 兼容的高性能查询引擎，提供了一种高效的方式来处理数据湖中的数据，包括存储在开源...通过文件管理优化性能 自动优化 通过缓存优化性能 动态文件修剪 隔离级别 Bloom 筛选器索引 优化联接性能 优化的数据转换
数据类型转换
MaxCompute SQL允许数据类型之间的转换，类型转换方式包括显式类型转换和隐式类型转换。显式类型转换 显式类型转换是通过 CAST 函数将一种数据类型的值转换为另一种类型的值，在MaxCompute SQL中支持的显式类型转换，如下表所示。关于CAST...
- 产品推荐
- 这些文档可能帮助您