新建Elastic Service在线类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
CREATE TYPE
该命令允许用户为数据库创建具有特定属性和行为的自定义数据结构。如果在执行 CREATE TYPE 命令时指定了一个模式名称，那么新创建的数据类型将位于该指定模式内。如果没有指定模式名称，则该数据类型将默认被创建在当前激活的模式下。说明 ...
CREATE TYPE
该命令允许用户为数据库创建具有特定属性和行为的自定义数据结构。如果在执行 CREATE TYPE 命令时指定了一个模式名称，那么新创建的数据类型将位于该指定模式内。如果没有指定模式名称，则该数据类型将默认被创建在当前激活的模式下。说明 ...
新建Elastic Job类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
ApsaraDB For OceanBase数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
GIN索引
如‘hello','14:2 23:4' 中，表示hello在14:2和23:4这两个位置出现过，这些位置实际上就是元组的tid（行号，包括数据块ID，大小为32 bit；以及item point，大小为16 bit）。通过这种索引结构可以快速的查找到包含指定关键字的元组，因此GIN...
2023年
JSON_SET 2023-10-09 新增Sugar BI连接MaxCompute 新说明 Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台，MaxCompute支持您将MaxCompute项目数据接入Sugar BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar ...
散点层
图表样式 散点层是3D地球的子组件，支持独立的样式和数据配置，包括散点的大小、颜色和类型以及经纬度等，能够以散点的形式表现地理位置上的点数据信息。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您...
功能特性
权限管理 权限模板 可以对具有相同业务属性的实例、库、表等进行统一管理，再批量授权给用户，解决目标寻找难和数据库重复授权的问题。权限模板 权限策略 使用DMS自定义权限策略有助于实现权限的精细化管控，是提升资源访问安全的有效手段...
通过 HyperLoglog 实现高性能多维数据透视
t3(uid,-用户 ID tag1,-标签1，如兴趣 tag2,-标签2，如性别 tag3,-标签3，如年龄段.,)基于已定义的数据结构，可以按照品牌、销售区域、标签、日期进行透视。例如，select '兴趣' as tag,t3.tag1 as tag_value,count(1)as cnt from t1,t2,t3...
通过脚本模式生成API
配置API 双击打开API的编辑页面，在 选择表 区域，配置 数据源类型 和 数据源名称、数据源环境 等参数。不同数据源类型的配置参数略有不同，具体配置参数以界面为准。说明 您需要提前在 工作空间管理>数据源管理 中配置好数据源，数据表...
新建Elastic Service在线类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
自建HBase迁移至云原生数据仓库 AnalyticDB MySQL 版 ...
执行了CREATE TABLE语句的待同步表（表结构和表数据）支持迁移至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在...
同步节点
当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产...
同步节点
当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产...
TS
图 1.TairTS与RedisTS数据结构对比图 TairTS数据结构解析：Pkey（一组时间线）：TairTS数据结构，可包含多个Skey。Skey（一条时间线）：可包含多个固定容量的Chunk，每个Skey可设置不同的Label（标签），可通过Label在海量数据中快速过滤...
专业术语
aggregation（聚合）InfluxQL函数，能够返回一组数据点的聚合结果。想要获得现有的和即将支持的聚合函数的完整列表，请查看文档 InfluxQL函数。相关术语：function，selector，transformation。batch（批量）符合行协议（line protocol）...
购买与使用独享数据传输服务资源组
背景信息 MaxCompute当前在各个地域均为您提供了免费的 公共数据传输服务资源组，为该地域下所有客户提供数据传输服务，同时也为您提供了 独享数据传输服务资源组（包年包月），以提供更好的数据同步稳定性和同步的并发数。两类资源组的...
PolarDB-X 2.0迁移至Tablestore
类别 参数 说明 信息配置 资源组配置 选择实例所属的资源组，默认为 default resource group。更多信息，请参见 什么是资源管理。链路规格 DTS为您提供了不同性能的迁移规格，迁移链路规格的不同会影响迁移速率，您可以根据业务场景进行...
PolarDB-X 2.0同步至Tablestore
资源组配置 实例所属的资源组，默认为 default resource group。更多信息，请参见 什么是资源管理。链路规格 DTS为您提供了不同性能的同步规格，同步链路规格的不同会影响同步速率，您可以根据业务场景进行选择。更多信息，请参见 数据同步...
我是安全管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中...
飞线层
图表样式 飞线层是3D地球的子组件，支持独立的样式和数据配置，包括飞线的半径、弧度、类型以及起始点经纬度等，适用于OD数据的线型表达，通常表示两地之间的关联，如物流、交易等。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，...
轨迹层
说明 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示 value 值为0~10的数据将展示为10的大小，类型2设置为20，则表示 value 值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3...
缓存分析
只支持分析Redis数据结构和以下Tair自研数据结构：TairString、TairHash、TairGIS、TairBloom、TairDoc、TairCpc、TairZset，暂不支持分析其他Tair自研数据结构。如果目标Redis实例规格已发生变更，则不支持分析实例变更前的备份文件。暂不...
非结构化数据向量检索
背景信息 非结构化数据向量检索适用于以图搜图、声纹匹配、基于语义的文本检索和推荐（通过文本内容检索相近文本）、文件去重（通过文件指纹去除重复文本）、商品图片分析（例如在大量图片中，分析哪些图片包含了同一个商品）等场景。...
Elasticsearch数据源
Elasticsearch是一个基于Lucene的搜索和数据分析工具，它提供分布式服务。Elasticsearch核心概念同数据库核心概念的对应关系如下所示。Relational DB（实例）->Databases（数据库）->Tables（表）->Rows（一行数据）->Columns（一行数据的...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
数据传输独享资源费用（包年包月）
背景信息 MaxCompute当前在各个地域均为您提供了免费的 公共数据传输服务资源组，为该地域下所有客户提供数据传输服务，同时也为您提供了 独享数据传输服务资源组（包年包月），以提供更好的数据同步稳定性和同步的并发数。两类资源组的...
新建同步节点并运行后上线
当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产...
新建同步节点并运行后上线
当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产...
我是DBA
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
Kafka单表实时入湖OSS（HUDI）
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享...
我是管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
数据源配置常见问题
保留CSV的首行作为表头，并且每一个列的列名，需要和相应图表中要求的数据结构的字段名保持一致。目前，数据库通过阿里云经典网络内网连接支持哪些机房？目前支持 华东1、华东2、华北2 三个机房。DataV能否连接在ECS或其他机器上部署的数据...
数据源配置常见问题
保留CSV的首行作为表头，并且每一个列的列名，需要和相应图表中要求的数据结构的字段名保持一致。目前，数据库通过阿里云经典网络内网连接支持哪些机房？目前支持 华东1、华东2、华北2 三个机房。DataV能否连接在ECS或其他机器上部署的数据...
离线同步日志分析
半结构化存储：按照文件数或文件数据量进行切分。例如，OSS任务并发上限不超过文件数。同步数据 此阶段将按照切分逻辑将切分出来的task，基于您配置的并发数进行分批同步。关系型数据库将按照上述切分键，切分为多个取数SQL，分别向数据库...
发现
支持展示数据表资产基本信息、扩展信息、字段信息、数据预览、血缘关系和数据质量等信息，并提供申请数据表使用权限的功能。支持展示API基本信息、扩展信息、接口信息、血缘信息，并提供申请API使用权限的功能。支持展示指标基本信息、扩展...
功能特性
日志数据导入 通过数据同步功能同步SLS至湖仓版 Kafka数据源 AnalyticDB for MySQL支持通过Logstash插件、Dataworks和数据同步三种方法将Kafka数据导入到数仓版或湖仓版集群。Kafka 通过数据同步功能同步Kafka至湖仓版 OSS数据源 ...
- 产品推荐
- 这些文档可能帮助您