typeconv-overview
系统目录存储有关哪些数据类型之间存在哪种转换（或 造型）以及如何执行这些转换的相关信息。额外的造型可以由用户通过CREATE CAST命令增加（这个通常和定义一种新的数据类型一起完成。内建的类型转换集已经经过了仔细的雕琢，最好不要去...
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
SmartData常见问题
因为JindoFS无论使用哪种方式，数据都存放在OSS上，本地磁盘只缓存数据，所以数据可靠性是由OSS来保证的。JindoFS支持文件和目录操作的一致性吗？支持。JindoFS Block模式实现HDFS文件系统语义，支持强一致性。JindoFS支持文件和目录操作的...
通过RAM角色授权模式配置数据源
某企业有100个Bucket，存放该企业的所有数据，但大数据团队只需要使用其中两个Bucket的数据。如果使用预设的 AliyunDataWorksAccessingOSSRole 角色，可能导致其它98个Bucket被大数据团队访问，存在管理风险。因此，云账号负责人可以为大...
常见问题
每种开发语言通过SDK连接云数据库ClickHouse对应的端口是什么？Go、Python语言对应推荐什么SDK？如何处理客户端工具连接集群时报错：connect timed out？为什么MySQL、HDFS、Kafka等外表无法连通？为什么程序无法连接ClickHouse？如何处理...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
管理数据
更多操作 批量管理数据域 需要大规模调整多个数据域下的资产时，您可以使用批量导入功能。通过下载并修改数据域模板文件，快速管理数据域。仅支持阿里云账号和具有 AliyunYundunSDDPFullAccess 权限的RAM用户使用该功能。登录 数据安全中心...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
常见问题
所以您只需要会使用SQL、Python、Java等开发语言就可以使用MaxCompute进行数据分析。如何理解开源与云原生的大数据技术与产品？推荐您阅读 从开源到云原生，你不得不知的大数据实战。MaxCompute作为大数据平台，对业务数据是否有好的监控...
PolarDB for AI NL2SQL正式商业化，欢迎免费体验！
在PolarDB数据库中通过SQL实现AI能力 体验在PolarDB数据库中使用通义千问大模型的功能 体验在PolarDB数据库中无缝使用AI能力（如模型创建、模型训练、模型评估、模型推理等）体验在PolarDB数据库中通过自然语言来驱动数据查询（NL2SQL）...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
赋值节点
赋值节点支持ODPS SQL、SHELL和Python三种赋值语言，使用不同赋值语言时，赋值节点的参数（outputs）输出格式不同，下游节点需要根据outputs的具体情况，以${参数名} 的格式，使用 一维数组 或 二维数组 的方式在代码中获取赋值节点传递的...
审批中心概述
在安全中心申请MaxcCompute引擎表字段权限时，DataWorks会根据申请的表字段来识别需要进行哪种类型的审批流程。如果表字段在自定义审批流程框定的数据范围内，则命中自定义审批流，后续将进行审批中心自定义的审批流程。如果表字段不在...
离线同步常见问题
脏数据报错不清晰时，需要复制出打印出的脏数据的一整条，观察其中的数据，和目的端数据类型比较，看哪一条或哪一些不合规范。比如：{"byteSize":28,"index":25,"rawData":"ohOM71vdGKqXOqtmtriUs5QqJsf4","type":"STRING"} byteSize：字节...
概述
利用数据库中的表数据进行大语言模型推理的场景。导入模型目前仅支持TensorFlow模型（输入为一维数组或句子），支持的输出类型为INTEGER、REAL或STRING。使用限制 仅支持在 PolarDB MySQL版 8.0.2版本的 企业版 集群中使用该功能。费用 仅...
整体架构
云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来，AnalyticDB MySQL版 至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、物流、...
Iceberg概述
删除或更新数据 大部分数仓都难以实现较为高效的行级数据删除或更新，通常需要启动离线作业把整个表原始数据读取出来，然后变更数据后，写入到一个原始表。而Iceberg成功把变更的范围从表级别缩小到了文件级别，从而可以通过局部变更来完成...
批量或异步插入数据
批量插入数据 默认情况下，每个发送到云数据库ClickHouse的插入操作都会导致云数据库ClickHouse立即在存储中创建一个包含插入的数据以及其他需要存储的元数据信息。因此，相比较发送包含较少数据的大量插入操作，发送包含更多数据的较少...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
用自然语言实时查看BI报表
相关内容 相关文档 关于PolarDB for AI PolarDB for AI使用说明 PolarDB for AI算法介绍 通过AAT连接AI和数据库表 自然语言到数据库查询语言转义 通义千问大模型数据推理和交互 更多免费体验 您可以前往 PolarDB for AI：在数据库中通过SQL...
NL2BI：用自然语言实时查看BI报表
相关内容 相关文档 关于PolarDB for AI PolarDB for AI使用说明 PolarDB for AI算法介绍 通过AAT连接AI和数据库表 自然语言到数据库查询语言转义（NL2SQL）通义千问大模型数据推理和交互 更多免费体验 您可以前往 PolarDB for AI：在数据库...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
时序引擎应用开发简介
2.数据建模 针对业务场景进行数据建模，需要确定创建数据库和时序数据表，确定时序数据表的标签、时间戳和量测值，并根据数据特征确定PRIMARY KEY用于数据分片。关于数据模型，请参见 数据模型。时序引擎提供了三种Schema约束策略，分别为...
深度解析Lindorm搜索索引（SearchIndex）特性
Lindorm SearchIndex提供了最终一致性和强一致性两种语义，对于访问量大、数据延迟性要求不高的场景采用最终一致性，可以提供非常高的吞吐和可用性，而业务访问延迟敏感的业务可以选择强一致性模型，数据写入成功后，索引立即可查。...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
东软案例
在运维过程中，用户通过实时监控仪表盘、统计分析报表或风险定位、检测工具对接Lindorm多模引擎海量数据检索、分析能力，来满足不同应用场景的运维大数据信息提取需要。图 3.东软新型IT智能运维系统部署方案 适用场景 实时状态大屏展现。...
产品简介
数据源 提供数据的源点，会根据这些数据来构建私域知识库，用于后续的检索、知识问答 大模型 大规模预训练语言模型是指使用海量文本数据进行预训练的语言模型。它通过学习大量的语言知识和语境信息，能够生成高质量的文本或提供语义理解。...
MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
数据服务入门
参数 描述 数据源类型 选择需要基于哪类数据源创建API。本文示例选择MySQL类型数据源。数据源名称 选择需要基于该类型数据源下的哪个数据源生成API。本文示例选择 步骤一：创建数据源并配置网络连通性 创建的 rds_workshop_log 数据源。...
RDS SQL Server空间不足问题
如果发现实例的空间使用率过高，首先应该在 RDS管理控制台 的 监控与报警 页面中检查数据、日志、临时文件、系统文件各部分的空间使用情况，确认是哪种文件的空间增长过快，并进一步评估能否采取措施释放空间或避免空间快速增长。...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
资产安全概述
Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者隐私数据）三种数据分类；同时也支持客户根据企业情况进行自定义分级。识别规则 识别规则是自动化识别敏感字段的策略。因为在实际的生产过程中...
资产安全概述
Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者隐私数据）三种数据分类；同时也支持客户根据企业情况进行自定义分级。识别规则 识别规则是自动化识别敏感字段的策略。因为在实际的生产过程中...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
组件开发快速入门
设置语言环境 DataV开发工具默认的语言环境是 English，如果您需要使用其他语言环境，可以在命令行界面执行 datav locale 命令切换语言环境。执行成功后，返回以下结果。What is your language?(Use arrow keys)>English Chinese Japanese ...
功能特性
对于 Oracle 数据库，OceanBase 数据库能够支持绝大部分的 Oracle 语法和几乎全量过程性语言功能，可以做到大部分的 Oracle 业务进行少量修改后自动迁移。在多家金融行业客户和阿里巴巴内部已有多次迁移至 OceanBase 数据库的成功案例。...
组件开发快速入门
设置语言环境 DataV开发工具默认的语言环境是 English，如果您需要使用其他语言环境，可以在命令行界面执行 datav locale 命令切换语言环境。执行成功后，返回以下结果。What is your language?(Use arrow keys)>English Chinese Japanese ...
- 产品推荐
- 这些文档可能帮助您