数据压缩作业2之“非结构化数据相关资料查阅”
作者：互联网
文章目录
1.什么是非结构化数据？
百度百科定义：非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。
2.处理非结构化数据有什么困难？
一、扩容难、成本高
随着数据的高速增长，传统存储 Scale-Up 的扩展方式，会造成“小马拉大车”的困境，性能与容量无法灵活扩展。同时，传统存储的扩容成本较高，随着大量的非结构化数据占用存储空间，扩容的需求将造成投资成本不断攀升。
二、数据体量大、获取和流转困难
对于已经保留下来的非结构化数据，真要去使用和处理它，依然是一项不讨好的“体力活儿”。由于体量、距离和网速的原因，非结构化数据并不容易获得，更不要说被灵活地放入业务分析和处理流程之中了。
三、缺乏处理分析的技术手段
非结构化数据的价值密度相对较低，缺乏有效的技术对非结构化数据进行处理和分析，面对海量文件数据束手无策。
3.相应的解决办法是什么？
采集
非结构化数据的采集是信息进一步处理的基础。有许多开源库己经实现了从非结构化文档中采集关键信息的功能，但针对不同格式的文档，所用的开源库不尽相同。
例如，Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。其结构包括：HSSF提供读写Microsoft Excel XLS格式档案的功能；XSSF提供读写Microsoft Excel OOXML XLSX格式档案的功能；HWPF提供读写MicrosoftWord DOC格式档案的功能;HSLF提供读Microsoft PowerPoint格式档案的功能；HDGF提供读写Microsoft Visio格式档案的功能等。
查询
在非结构化数据管理系统中，查询处理模块是其中一个重要的组成部分，针对非结构化数据的特性设计合理的查询处理框架和查询优化策略对于非结构数据的快速、有效访问极为重要。传统的结构化查询处理过程是:首先翻译器翻译查询请求生成查询表达式，然后由优化器优化查询表达式，得到优化过的查询计划，最后由执行器选择最优的查询计划执行，得到查询结果。查询处理的主要操作包括选择操作、连接操作、投影操作、聚合函数、排序等。查询优化的方法包括基于代价估算的优化和基于启发式规则的优化等。
非结构化查询处理过程中除了结构化数据查询处理所包含的操作外，还有两个重要的操作相似性检索和相似性连接。相似性检索是指给定一个元素，在由该种类元素组成的集合中寻找与之相似的元素。例如论文查重系统用到文本的相似性检索，谷歌的以图搜图的功能用到图像的相似性检索，手机上根据哼唱匹配音乐是音频的相似性检索等。相似性连接是数据库连接操作在非结构化数据上的一种扩展，它寻找两个元素种类相同的集合之间满足相似性约束的元素对，在数据清洗、数据查重、抄袭检测等领域有着重要的作用。非结构化查询处理框架要针对这两种非结构化数据特有的查询操作对结构化查询处理框架进行改进。
存储
云存储是越来越多的IT公司正在使用的存储技术。
标签：结构化,查阅,查询处理,查询,相似性,格式,数据,数据压缩 来源： https://blog.csdn.net/qq_45639597/article/details/115510018