TS
例如temperature:1、pressure:1、distance:1等，可通过TairTS自带的 EXTS.S.MRANGE 命令轻松获取设备ID为1的自定义监控信息，而使用RedisTimeSeries则需要在业务逻辑代码中嵌入大量数据聚合运算才能实现该功能。图 1.TairTS与RedisTS数据...
Tomcat 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Tomcat 连接池、OceanBase Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 tomcat-mysql-client 示例工程 前提条件 您已安装 OceanBase...
RestAPI Reader最佳实践
返回数据结构：本示例接口的返回结果为一个JSON数组，此处选择 数组数据。数据存储json路径：本示例接口获取的数据存储于data下，此处配置为 data。请求参数：请求参数与调度参数搭配使用，实现每天同步当天数据的。请求参数配置为 ...
数据类型
本文描述 云数据库ClickHouse 的数据类型。数据类型列表 ClickHouse完整数据类型介绍，请参考 开源...嵌套数据结构的参数（列名和类型）的指定方式与CREATE TABLE查询中的指定方式相同。每个表行都可以对应于嵌套数据结构中的任意数量的行。
我是安全管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中...
配置参数说明
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为...
新建Elastic Job类型的公共节点
（条件必选）如果代码中存在输入、输出表或者节点变量，则需要手动添加节点的输入、输出参数和节点变量，具体参数配置参见下表。配置 节点输入：如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加...
我是DBA
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
我是管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
内存型
Hash增强 exHash 无 TairHash支持为field设置过期时间和版本，提高了Hash数据结构的灵活性，简化了很多场景下的业务开发工作。该数据结构已开源，更多信息请参见 TairHash。最佳实践：基于TairHash实现用户多设备登录管理。Zset增强 exZset...
新建Elastic Service在线类型的节点并运行
Elastic Service是在线服务类型的节点，在线服务指的是一类“常驻”守护型服务，它的使用方式是通过某种远程过程调用RPC（Remote Procedure Call）来提供服务。本文介绍如何添加Elastic Service在线类型的节点并运行。背景信息 Elastic ...
新建Elastic Service在线类型的节点并运行
Elastic Service是在线服务类型的节点，在线服务指的是一类“常驻”守护型服务，它的使用方式是通过某种远程过程调用RPC（Remote Procedure Call）来提供服务。本文介绍如何添加Elastic Service在线类型的节点并运行。背景信息 Elastic ...
新建Elastic Service在线类型的公共节点
Elastic Service是在线服务类型的节点，在线服务指的是一类“常驻”守护型服务，它的使用方式是通过某种远程过程调用RPC（Remote Procedure Call）来提供服务。本文介绍如何新建Elastic Service在线类型的公共节点。背景信息 Elastic ...
新建Elastic Job类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
DataWorks数据服务对接DataV最佳实践
DataWorks数据服务提供了快速将数据表生成API的功能，通过可视化的向导模式操作，无需代码便可快速生成API，然后通过DataV调用API并在大屏中展示数据分析结果，高效实现数仓的开发和数据的展示。前提条件 要想实现DataWorks数据服务与DataV...
集成与开发概览
您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于企业独有的数据平台。产品优势 流批一体技术，支持20多种数据实时、离线集成。低代码开发。100%兼容Flink、Spark。支持链路及开发过程中的数据安全。分钟级调度。多...
新建Elastic Service在线类型的公共节点
Elastic Service是在线服务类型的节点，在线服务指的是一类“常驻”守护型服务，它的使用方式是通过某种远程过程调用RPC（Remote Procedure Call）来提供服务。本文介绍如何新建Elastic Service在线类型的公共节点。背景信息 Elastic ...
JSON类型
一般原则是被包含的对象必须在结构和数据内容上匹配包含对象，这种匹配可以是从包含对象中丢弃了不匹配的数组元素或者对象键值对之后成立。但是记住做包含匹配时数组元素的顺序是没有意义的，并且重复的数组元素实际也只会考虑一次。结构...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
概述
数据建模的必要性 海量数据的标准化管理 企业业务越庞大数据结构就越复杂，企业数据量会随着企业业务的快速发展而迅速增长，如何结构化有序地管理和存储数据是每个企业都将面临的一个挑战。业务数据互联互通，打破信息壁垒 公司内部各业务...
2023年
按量付费闲时版 2023-07-17 新增PyODPS DataFrame的代码运行环境 新说明 使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行...
新建过滤器
数据过滤器功能 在DataV中可以使用数据过滤器，可以通过自定义JavaScript代码，实现数据结构转换、数据筛选展示和一些简单的计算。前提条件 已进入画布编辑器页面。新建过滤器 您可以通过以下两种方法新建过滤器。通过 数据过滤器 新建。在...
Bloom
TairBloom简介 在传统的Redis数据结构中，可以使用Hash、Set、String的Bitset等实现类似功能，但这些实现方式不是内存占用量非常大，就是无法动态伸缩和保持误判率不变。因此，TairBloom非常适合需要高效判断大量数据是否存在且允许一定...
基本概念
结构体 结构体是将不同类型的数据组织在一起的树形数据结构，树形结构中的根节点、子节点和叶子之间存在父子关系；它适用于对关系紧密、逻辑相关、具有相同或不同类型的数据进行处理。逻辑流 基本概念 说明 逻辑流操作 指在逻辑流中执行的...
时间轴
图表样式 时间轴支持自定义时间轴的节点标签样式、事件节点样式以及交互等配置，适用于在可视化应用中展示不同时间段的数据变化情况，比如使用时间轴组件实现数据轮播。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
Commons Pool 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Commons Pool、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 commonpool-mysql-client 示例工程 前提条件...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
离线同步常见问题
具体插件报错原因及解决方案 添加MongoDB数据源时，使用root用户时报错 读取MongoDB时，如何在query参数中使用timestamp实现增量同步？MongoDB同步至数据目的端数据源后，时区加了8个小时，如何处理？读取MongoDB数据期间，源端有更新记录...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
全文检索
SCWS使用C语言开发，可以直接作为动态链接库接入应用程序，结合PostgreSQL的代码扩展能力，可以在PostgreSQL数据库中使用SCWS实现中文分词功能。Zhparser插件是一个基于SCWS能力开发的PostgreSQL中文分词插件，在兼容PostgreSQL已有全文...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
Elasticsearch数据源
实现原理 将Elasticsearch获取到的JSON数据，利用JSON工具的路径获取特性，将嵌套数据扁平化为一维结构的数据。然后将数据映射至结构化数据表中，拆分Elasticsearch复合结构数据至多个结构化数据表。解决方案 JSON有嵌套的情况，通过path...
混合检索使用指南
当结构化数据与非结构化数据需要同时检索时，您可以使用 AnalyticDB PostgreSQL版 向量数据库的混合查询，既支持结构化字段过滤，也支持半结构化字段过滤，同时支持和文本字段的全文检索一起进行双路召回。混合检索简介 ANNS（Approximate ...
数据开发概述
与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效稳定。...
数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
- 产品推荐
- 这些文档可能帮助您