数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
函数操作
功能 是否支持 函数操作 是 MAX_PT 是 支持使用Dataphin项目名称进行检索数据。例如，Dataphin的项目英文名称为biz_cdm，该项目下有分区表biz_order、分区键为ds。则您可以执行以下语句查询数据。select*from biz_cdm.biz_order where ds=...
函数操作
功能 是否支持 函数操作 是 MAX_PT 是 支持使用Dataphin项目名称进行检索数据。例如，Dataphin的项目英文名称为biz_cdm，该项目下有分区表biz_order、分区键为ds。则您可以执行以下语句查询数据。select*from biz_cdm.biz_order where ds=...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
产品计费
本文介绍 数据库自治服务DAS 不同版本的费用、到期、欠费以及续费说明。计费详情 重要 实际价格以产品购买页为准。企业版 V3 说明 支持企业版 V1和V2免费迁移至企业版 V3，迁移完成前按照当前版本计费，迁移完成后按照迁移目标版本计费。...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
混合检索使用指南
混合检索简介 ANNS（Approximate Nearest Neighbors Search，近似最近邻搜索）向量索引只能解决非结构化数据检索的问题。但是实际生产环境中，经常会遇到一些结构化数据与非结构化数据需要同时检索的场景。例如需要查询特定人员在指定时间...
2000W FLOAT512 量化
doc表和query表的数据量均为2000W，数据类型为FLOAT，维度为512。对比在哈希分片方式下，INT8量化对整体性能的影响。测试结论 INT8量化对整体性能提升在10%左右，具体数据如下：Build耗时（秒）Seek耗时（秒）总时间（分钟）CE hash 17811 ...
Serverless应用指南
本文介绍了访问Serverless应用的各种方式，将源数据（MySQL数据、日志数据、ES数据）迁移到Serverless应用的方法，以及在Serverless应用中实现数据检索、分析、交互的方法。访问指南 访问方式 相关文档 curl 通过curl命令访问与管理...
场景：跨账号创建数据源
说明 您可根据跨账号添加的数据源在A工作空间的使用场景，提前为RAM角色授权与相关权限，例如，若要在A工作空间查询B工作空间数据源下的表，需确保数据源配置的RAM角色已拥有该表的SELECT权限。账号A：使用账号B的用户信息创建数据源 说明 ...
分词和模糊查询使用指南
本文介绍了在检索数据时使用分词查询和模糊查询的语法和使用示例。创建检索表 创建检索表的示例如下：/*polar4ai*/CREATE TABLE table_name(id int,name varchar,name_1 wildcard,content text,content_1 text_ik_smart,content_2 text_ik_...
新建Amazon S3数据源
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
新建Amazon S3数据源
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
创建MaxCompute数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至当前MaxCompute数据源，或将当前MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步...
DLF+EMR之统一权限最佳实践
DLF 数据权限：DLF所提供的数据湖的数据权限体系，支持配置数据库、数据表、数据列、函数四种维度细粒度权限控制。详见 数据权限概述。业务场景说明 某公司有一个EMR集群，期望Hive/Spark/Presto/Impala引擎可以通过统一的数据权限，控制...
新建 TiDB 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 TiDB 数据源。前提条件 已获取相关数据库的 IP 地址和端口号。已存在用于数据迁移的数据库用户。建议您为数据迁移项目创建一个专属的数据库用户，该用户...
什么是云数据库HBase
云原生多模数据库Lindorm）、全文检索（参见Lindorm产品）等能力，结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量场景下的存储、检索、分析需求，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景的数据...
创建ClickHouse数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至ClickHouse的能力，您可将其他数据源的数据同步至当前ClickHouse数据源，或将当前ClickHouse数据源的数据同步至其他数据源。您可通过离线同步场景执行相关数据同步操作。增...
数据资产等级定义
本文为您介绍数据资产等级的定义，以及如何定义生产链路上的相关数据的资产等级。数据资产等级定义 根据数据质量不满足完整性、准确性、一致性、及时性时，对业务的影响程度划分数据的资产等级。通常，划分为5个性质的等级：毁灭性质：数据...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
创建AnalyticDB for PostgreSQL数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for PostgreSQL的能力，您可将其他数据源的数据同步至当前AnalyticDB for PostgreSQL数据源，或将当前AnalyticDB for PostgreSQL数据源的数据同步至其他数据源。...
创建AnalyticDB for MySQL3.0数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for MySQL3.0的能力，您可将其他数据源的数据同步至当前AnalyticDB for MySQL3.0数据源，或将当前AnalyticDB for MySQL3.0数据源的数据同步至其他数据源。...
创建Hologres数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至当前Hologres数据源，或将当前Hologres数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步解决...
非结构化分析
优势 云原生数据仓库AnalyticDB PostgreSQL版 的向量分析特性针对非结构化数据检索分析，与普通的检索系统有较大的差异，主要体现在下面的几点：结构化和非结构化混合分析 例如，可以检索与输入图片中的连衣裙相似度最高、价格在100元到200...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
概述
本文介绍了数据查询的相关概念。简介 从数据库中检索数据的过程或命令叫做查询。在 SQL 里SELECT命令用于指定查询。SELECT 命令的一般语法是[WITH with_queries]SELECT select_list FROM table_expression[sort_specification]下面几个小节...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
东软案例
在运维过程中，用户通过实时监控仪表盘、统计分析报表或风险定位、检测工具对接Lindorm多模引擎海量数据检索、分析能力，来满足不同应用场景的运维大数据信息提取需要。图 3.东软新型IT智能运维系统部署方案 适用场景 实时状态大屏展现。...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
多模态检索解决方案
调用模型服务 通过RESTful API方式调用服务初始化接口、数据库管理层接口和数据库层接口，实现多模态数据检索。前提条件 在开始执行操作前，请确认您已完成以下准备工作：已开通PAI（DSW、EAS）后付费，并创建默认工作空间，详情请参见 ...
低成本RDS历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本RDS历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
应用场景：低成本历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
查询数据
IGNORE_INC 数据写入流量非常大时，为保证检索响应时间，您可以选择不查询部分实时数据（一般指数据写入时间小于24小时的数据）。IGNORE_INC=true PREFER_INDEX 在同一个向量列上定义多个索引时，您可以使用 PREFER_INDEX 参数建议系统采用...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
通过SQL导入向量数据
在进行向量分析前，您需要在数据库中导入数据，本教程将指导您如何通过SQL导入数据至 AnalyticDB PostgreSQL版 实例。前提条件 已开启向量检索引擎功能，目前已支持如下两种方式开启：在创建实例时开启向量引擎优化，更多信息，请参见 创建...
区分大小写
字符和字符串常量区分大小写，从 PolarDB PostgreSQL版（兼容Oracle）数据库检索的任何数据或从其他外部源获取的数据也是如此。语句 DBMS_OUTPUT.PUT_LINE('Hello World!');生成以下输出：Hello World!但语句 DBMS_OUTPUT.PUT_LINE('HELLO ...
Oracle数据导入
本文介绍如何通过DataWorks将Oracle数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
数据源
本文将解答与数据源相关的问题。Q：Databricks数据洞察的支持哪些数据源？目前支持读写阿里云对象存储（OSS）的数据。Q：是否支持当前的DDI集群访问其他集群的HDFS数据？支持访问同账号下的EMR Hadoop集群上的HDFS数据。
服务介绍
通过深度融合HBase与Solr，我们推出了既能满足大数据海量存储，又可以支持复杂多维查询和全文检索的Search服务。Search服务适用于：需要保存海量数据，并且需要各种条件组合查询的业务。例如：物流场景，需要存储大量轨迹物流信息，并需...
- 产品推荐
- 这些文档可能帮助您