数据服务：低成本快速发布API
功能概述 作为数据仓库与上层应用系统间的“桥梁”，DataWorks数据服务为企业搭建统一的服务总线，帮助企业统一创建及管理对内、对外的API服务，解决数仓、数据库与数据应用间的“最后一公里”，加速数据的流动和共享。数据服务支持通过零...
搭建页面
模块搭建支持在搭建页面时，修改组件的数据源。页面搭建主要包括添加组件和配置信息两个部分。前提条件 已创建应用页面，具体操作参见 创建页面。如搭建页面时要使用自定义的前端组件，需要先添加自定义组件并完成接口配置，具体操作参见 ...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Github实时数据同步与分析
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
创建同步ElasticSearch
对于ES6，DataHub同步数据时，将会以用户选择的列的列名作为一条数据的type，如果选择多列，则多列的列名会以“|”分割作为一条数据的type，并且ES6支持以任意名称作为type。例如：DataHub Schema:f1 string,f2 string,f3 string,f4 string...
受众与核心能力
总之，使用DataWorks，您不仅可以进行海量数据的离线加工分析，还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践...
案例二：搭建文档检索系统
搭建流程 创建文档数据表 创建文档数据表的SQL语句如下：CREATE TABLE enterprise_context(id bigint(20)NOT NULL AUTO_INCREMENT COMMENT '主键id',content text DEFAULT NULL COMMENT '内容',PRIMARY KEY(id))ENGINE=InnoDB COMMENT='...
案例三：搭建问答机器人
搭建流程 创建问答数据表 创建问答数据表的SQL语句如下：CREATE TABLE enterprise_context(id bigint(20)NOT NULL AUTO_INCREMENT COMMENT '主键id',content text DEFAULT NULL COMMENT '内容',PRIMARY KEY(id))ENGINE=InnoDB COMMENT='...
案例一：搭建以图搜图系统
搭建流程 创建图片数据存储表 创建图片数据存储表的SQL语句如下：CREATE TABLE image(id bigint(20)comment '主键id',image_address varchar(255)comment '图片存储地址',type int(8)comment '图片类型',primary key(id));其中，image_...
分析数据
④ 千位分割 将单元格数据的千位以逗号形式分割，例如 1,005。⑤ 货币 将单元格的数据类型设置为货币类型，例如人民币、美元、英镑、欧元和法郎等。行列 序号 功能 描述 ① 插入行 在电子表格中添加新的单元行。② 插入列 在电子表格中添加...
Kafka数据迁移MaxCompute最佳实践
本文为您介绍如何使用DataWorks数据集成，将Kafka集群上的数据迁移至MaxCompute。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。在DataWorks上完成创建业务流程，本例使用DataWorks简单...
概述
本章节以搭建 双11狂欢节 数据看板为例，为您演示如何使用DataV提供的模板来开发可视化应用项目。操作步骤 创建可视化应用 配置组件样式 适配组件数据 预览并发布可视化应用
技术原理
高可用与容灾 在生产环境部署数据库时往往会搭建多个副本（Replica），保证数据库实例的高可用性以及数据的持久性。为了保证副本间的强一致性，现代数据库往往采用以Paxos算法为代表的多数派复制协议，它要求实例中至少存在3个节点，每次...
设置预分区
云数据库HBase的预分区功能可以帮助您合理的设计Rowkey，从而避免出现数据热点现象。本文介绍如何为HBase表设置预分区。设置方法 为HBase表test设置预分区，创建表格的语句如下示例，示例中字段的描述如下表。create'test',{NAME=>'f1',...
应用场景
主题服务：通过数仓即席查询功能，面向应用，自动输出会员主题的汇总数据模型，高效完成进一步的会员日报分析、会员门户搭建等。价值：数据建设统一：数据标准规范定义。数据研发提效：自动化代码生成。资产管理便利：数据丰富融通，主题化...
轮播列表柱状图
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
轮播列表柱状图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
基本概念
地理系统 TwinFabric数字孪生系统支持常见的地理信息系统数据源接入，满足实景三维中国建设技术大纲中部分地形级实景三维、城市级实景三维、部件级实景三维数据源的接入，支持基于球面、平面三维场景搭建与地理信息多源数据的融合与开发。...
消费-搭建监控系统
日志服务是阿里云一个重要的基础设施，支撑着阿里云所有集群日志数据的收集和分发。众多应用比如OTS、ODPS、CNZZ等利用日志服务logtail收集日志数据，利用API消费数据，导入下游实时统计系统或者离线系统做分析统计。作为一个基础设施，...
导入中特殊符号处理
OSS高速并行导入 在数据导入过程中，一般是将文件的每行作为一个元组，通过在每行中规定分隔符来分割每一列的数据。下文将介绍分隔符的使用方法和约束，以及每列中遇到特殊符号的处理方法。分隔符 在创建OSS外部表语法中，您可以通过在...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
使用OSS外表高速导入OSS数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
上传数据
上传CSV数据 重要 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
上传数据
上传CSV数据 注意 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
概述
本章节以搭建 碧玺绿地球通用模板 数据看板为例，为您演示如何使用DataV提供的模板来开发可视化数据看板。操作步骤 创建数据看板 配置组件样式 适配组件数据 预览并发布数据看板
BI分析功能简介
详情请参见 搭建BI分析组件并配置数据集案例。组件分析模式：以分析模式创建的组件，是采用以数据为核心、自动化样式配置、探索式构建视图的流程设计。通过优化数据视图绑定操作，方便用户使用基于数据生成的模型创作可视化。详情请参见 ...
DataV产品与BI类产品的差异比较
数据接入能力 强 中 数据准备和建模能力 强 弱 多维数据分析能力 强 弱 可视化页面搭建能力 中 强 非空间数据可视化能力 中 强 空间数据可视化能力 弱 强 低代码交互开发能力 弱 强 可视化资源准备能力 无 强 AI设计辅助能力 无 强 系统...
交叉透视表
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
DataV产品与BI类产品的差异比较
数据接入能力 强 中 数据准备和建模能力 强 弱 多维数据分析能力 强 弱 可视化页面搭建能力 中 强 非空间数据可视化能力 中 强 空间数据可视化能力 弱 强 低代码交互开发能力 弱 强 可视化资源准备能力 无 强 AI设计辅助能力 无 强 系统...
交叉透视表
分割线：设置表格中分割线的 线宽 和 颜色。拖拽热区线：设置表格中拖拽线的线型、粗细、颜色、长度和间距。说明 当选择拖拽线的线型为实线时，没有长度和间距设置功能。交互：您可以单击图表右上角的 图标，进入表格编辑态，拖动表格线...
DataWorks数据服务对接DataV最佳实践
现在通过DataWorks为您提供的 数据集成>数据开发>数据服务 的全链路数据研发平台，结合MaxCompute即可快速搭建企业数仓。DataWorks数据服务提供了快速将数据表生成API的功能，通过可视化的向导模式操作，无需代码便可快速生成API，然后通过...
方案概述
逻辑迁移（DTS数据同步）通过数据传输服务DTS，创建数据同步任务，将源RDS PostgreSQL实例的库表结构和全量数据同步至创建的 PolarDB PostgreSQL版 集群中，然后保持增量数据同步。升级方案优势 一键升级功能具有如下优势：可保留数据库原...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
RDS SQL Server中无法直接删除数据库的处理方法
Cannot drop database"XX"because it is currently in use 问题原因 高可用版数据库采用镜像或AlwaysOn搭建的高可用架构，删除数据库需要先移除镜像或AlwaysOn，然后才能删除数据库。如果数据库存在会话，则需要先使用 kill 命令结束会话，...
新功能发布记录
2021-08-04 搭建BI分析组件并配置数据集案例 视觉映射使用场景 BI分析模式数据面板功能介绍 区块概述 设计资产概述 空间构建平台 v5.10 新增组件回收站功能 新功能 适用用户：全部用户 组件支持删除撤回，用户可以在画布右上角回收站中，...
搭建BI分析组件并配置数据集案例
本文以创建 气泡图 为例，按步骤介绍搭建一个BI分析组件并使用数据集字段数据的方法。前提条件 数据集管理面板中已添加所需数据集内容，详情请参见 添加数据集。背景信息 数据集仅可在BI分析组件中使用。步骤一：添加气泡图 登录 DataV控制...
区域图（v4.0以下版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
- 产品推荐
- 这些文档可能帮助您