一、一种基于多哈希表的堆式动态存储管理方法(论文文献综述)
吴新新[1](2020)在《面向电网拓扑管理的图数据库关键技术研究》文中指出随着全球能源互联网的快速建设和发展,新型能源、分布式电源、储能装置等大量涌现,电力网架结构和运行方式越来越复杂。电网系统中的拓扑结构由物理关系、客户关系以及资产关系组成,同时在其基础上产生了海量电网运行数据、状态监测数据和智能电表数据等,利用这些拓扑数据可以进行用户用电范围分析、故障研判以及安全预警。当前电网的数据组织和处理主要是基于传统的关系型数据库管理系统,随着数据量和业务复杂度的增长,在存储规模、查询效率、可扩展性等方面都遇到了严重的技术瓶颈,面临的问题如数据库平均响应时间达到分钟级,业务高峰期状态更新不及时、可视化性能差等。而图数据库在存储、更新、查询数据方面具有快速准确的优势,能满足电网系统数据处理规模大、速度快等性能方面的需求。在图数据库中,电网中的任意具有真实属性的电气设备都可以作为一个图元来显示,通过操作图元,能够完成对实际物理设备的真实操作。同时,对图元以及设备的属性进行模块化封装,大大提升了程序的自适应性和可扩展性。因此,为了解决上述电网拓扑管理出现的问题,本文从电力图数据建模、图数据存储以及图检索查询三个方面进行研究。(1)针对电网拓扑数据可视化性能问题,需要把关系型数据库中的数据迁移到图数据库,本文使用图数据库技术构建电力图数据模型。通过提取电力系统设备信息以及真实的物理连接关系分别作为拓扑图的节点和边,设计基本图元来迁移数据,形成一个大的电网拓扑图,能清楚直观地展示电力设备连接关系,完成电力图数据建模。(2)针对电网拓扑图索引存储中的快速索引录入问题,在构建频繁子图索引的基础上,本文提出一种基于多哈希算法的序列化存储优化方法。该方法主要使用多哈希的探索序列使关键字均匀存储在哈希表中的每个位置,避免了存储过程中的冲突,并实现了对索引的快速搜索。(3)针对电网拓扑数据查询效率问题,本文提出了一种基于图的节点过滤算法,该算法采用空间换取时间的方式从图中过滤掉大部分不属于最优路径的节点。为了实现快速检索查询,本文在基于宽度优先双向搜索算法的基础上,通过设置阻断点并利用阻断点上存储的单源最短路径,来实现任意点到点之间最短路径的快速求解。最后,使用国家电网公司某分部的电力系统数据进行实验,验证了算法的有效性。
刘珂[2](2020)在《面向边缘计算的高效能非易失存储关键技术研究》文中研究表明随着万物互联的飞速发展,数十亿到数百亿的物联网边缘设备接入网络,产生了规模巨大的数据。面对海量的数据时,采用集中式计算、存储和传输的云计算模式面临着实时性不够、带宽不足、能耗巨大以及安全隐私等问题。通过将云端的计算存储能力下沉到网络边缘,边缘计算应运而生,旨在满足实时业务、数据优化、智能服务、安全隐私等行业需求。边缘计算拥有更小的响应时延、更低的带宽成本及更高的安全性,受到了学术界和企业界的密切关注。多家企业和组织发起成立了边缘计算联盟,通过与多家产业应用联盟深入合作,推动了边缘计算在智慧城市、在线直播、自动驾驶、智能制造等诸多领域的广泛应用。面对日益增加的数据规模以及人工智能等算力需求倍增的处理任务,相比于云计算中心的服务器集群,空间、能源受限以及存算能力有限的边缘侧面临着巨大的挑战。如何构建低功耗、高效率的边缘节点,高效实时地完成数据处理任务、实现多样化数据的存储和快速访问,是一个亟待研究的问题。非易失存储(Non-volatile Memory,NVM),相较于传统的静态随机存储及动态随机存储,拥有存储密度高、数据掉电不丢失、可扩展性好以及静态功耗低等特性。上述优良特性为边缘计算节点的存储容量提升和计算效能改善提供契机。一方面,非易失存储广泛服务于存储系统,构建非易失的缓存、主存、外存以及混合存储,提高存储密度,减少数据存储的漏电功耗及刷新功耗等开销。另一方面,非易失存储技术还应用于存内计算和非易失计算领域,减少数据的迁移,降低运算过程的能耗。然而,非易失存储也存在着读写不对称、写延迟高和寿命有限等问题,直接将非易失存储应用于边缘节点会带来性能降低、使用期限变短等不利影响。本文将探讨合理应用非易失存储技术,围绕改善边缘节点的存储性能以及提高边缘数据处理效能进行研究,推动边缘计算广泛应用和持久发展。首先,本文在基于非易失存储的高效能存储系统方面展开研究。现有的非易失存储器研究多采用仿真器或者基于单片小容量的NVM芯片,无法有效地从系统级研究非易失内外存特性以及混合存储特性。为应对边缘计算应用中多样化的存储需求,设计了基于SoC-FPGA的阵列式非易失存储架构。非易失存储架构由主FPGA系统、从FPGA阵列以及高速互联通道构成。基于FPGA的可重构特性,从FPGA阵列构建各种存储器接口及测试单元,实现多种非易失存储器器件级的性能测试和功耗评估。通过在主SOC-FPGA系统中部署操作系统以及存储管理单元,配合与从FPGA阵列高速连通的数据通道,此架构将满足非易失存储系统的性能测试和功耗评估以及混合存储管理方案验证需求。随后,依据所提出的非易失存储架构,完成了由SoC-FPGA和磁性随机存储器(Magnetic Random Access Memory,MRAM)组成的阵列式硬件原型设计,构建了基于MRAM的软硬协同可扩展性存储系统。在该系统中,本文设计了片上和板级一体化的总线网络互联多级FPGA,不仅实现低时延高带宽数据传输,还支持灵活的存储层次扩展和存储容量扩充。基于类IOZone的Benchmark实验表明,本文提出的多层次存储架构在提供高速读写的同时,具备良好的可扩展性,为构建高速可靠的边缘计算存储系统提供有力支撑。其次,为满足非结构化的数据存储与快速访问,键值存储(Key-Value Store,KVS)适合用作缓存层提升边缘系统的数据访问速度并有效减少系统能耗。Murmurhash,作为Memcached和RedisEdge等主流KVS流式处理框架中的核心运算,其执行速度的提升将加快存储内容的查询速度。为此,提出了基于FPGA的并行化策略与局部动态可重构技术相结合的Murmurhash2加速方法。首先,以降低延迟和提升带宽为目标,评估了 FPGA中各种逻辑与运算单元的特点,设计了Murmurhash2内部数学操作的优化实现。然后,针对Murmurhash2运算流程提出流水线和并行相结合的计算架构,并根据负载的情形设计以性能为目标的计算核心和以资源开销为目标的计算核心。最后,引入局部动态可重构策略依据负载情形动态切换两种计算核心进一步提升能效比。此外,在采用FPGA加速的KVS系统中,FPGA的片上存储(Block RAM,BRAM)单元,不仅用于缓存哈希表的热数据,也作为KVS通信环节包处理单元的缓存。非易失存储为FPGA的片上存储BRAM带来了高存储密度和低功耗的特性,极大的提升FPGA存储系统中缓存的容量和降低额外数据交换能耗开销。与此同时,非易失存储所带来的寿命问题也不可忽视。传统均衡损耗算法以及基于BRAM块的均衡损耗算法都带来了极大的性能开销,本文通过探究片上存储块内字层次的写入分布,提出基于字层次的细粒度性能感知的均衡损耗算法。通过在BRAM地址线和可重构布线资源间插入Crossbar,灵活配置逻辑地址线和BRAM的译码引脚的映射关系,实现了逻辑的热字到物理上的冷字的映射以及逻辑上冷字到物理上的热字的映射,从而在BRAM块内的物理字层次上达到均衡损耗。为实现逻辑字和物理字的灵活映射,本文建立了基于Crossbar的地址线重映射模型,并提出了相应的性能感知的地址线映射算法。与传统的均衡损耗以及基于BRAM块的均衡损耗算法相比,将性能感知的地址线映射算法引入布局阶段后,精细的粒度提升了布局阶段的灵活性,增加找到更短的关键路径的可能性,改善因提升寿命而带来的性能降低。在探究如何应用非易失存储改善边缘侧存储及缓存方面效能的同时,本文还进一步探索基于非易失存储技术构建高效能的计算核心。在异构计算是边缘侧典型的计算架构,包含CPU、GPU和FPGA等计算核心。相比于CPU、GPU等其他核心,FPGA具有并行度高、数据局部性好以及可重构等特性。然而,随着FPGA的容量的提升,主流的基于SRAM的FPGA面临着漏电流功耗高,掉电逻辑丢失以及可扩展性等问题。非易失存储技术引入FPGA中不仅优化了 FPGA的功耗还提升FPGA的逻辑密度。除了漏电功耗低,容量大以及掉电非易失特性,非易失存储还支持每个存储位存储多个数据(Multi-level Cell,MLC)。MLC特性可显着提高存储容量,也会带来更大的读写延迟和动态功耗等问题。本文研究如何在非易失FPGA的逻辑运算单元引入MLC进一步提升计算系统效能。一方面,MLC的引入会提升逻辑容量,减少面积开销以及逻辑互连长度,从而减少布线延迟。另一方面,MLC中的硬位(hard bit)会带来更高的读延迟,从而增加逻辑单元的延迟。综合考虑以上两个方面,本文采用MLC替换可配置逻辑块(Configurable Logic Block,CLB)结构里查找表中的(Single-level Cell,MLC)存储单元作为基准,探究引入MLC后带来的结构与工作特性改变。然后,从输入、输出和工作模式等多个角度进行可配置逻辑块结构的设计空间探索,并从延迟、面积开销以及漏电功耗等方面评估所提出的各种结构的特性,为低延迟、高效能的FPGA设计提供参考。此外,传统的综合流程在将应用电路映射到基于MLC的FPGA时,无法充分考虑MLC的特性,带来关键路径延迟的增加。为此,围绕MLC引入的高逻辑容量以及硬位带来的高延迟,本文提出了 MLC感知的性能驱动的打包算法。一方面,通过基于关键度的适应性检测方法减少关键路径和接近关键路径上硬位的使用,从而提升性能。另一方面,通过动态权值调整方法将非关键路径映射到更少的逻辑簇以提高逻辑使用率,从而减少面积开销。与基于SRAM的FPGA和基于SLC的非易失FPGA相比较,本文设计的基于MLC的逻辑架构配合MLC感知的打包算法在显着降低静态功耗的同时,提高非易失FPGA的性能并减少FPGA的面积开销。
高明远[3](2020)在《面向电网大数据的电力用户行为分析平台设计与实现》文中认为随着社会的发展进步,电力在人们的生活中发挥着越来越重要的作用。近年来物联网迅速发展,智能电网得到广泛普及,电力行业成功迈入大数据时代,而电力企业坐拥海量用户负荷数据,如何发掘其中价值将成为改变未来能源格局的关键。电力负荷分析主要是通过机器学习的手段对数据进行分析,尝试发现其中的潜在规律,主要包括用电量预测、用户聚类、用户画像分析等方向,可以为后续阶梯电价设计、异常用户检测、负载均衡实现等具体业务提供数据支撑。本文的目标是设计并实现一个面向电网大数据的电力用户行为分析平台,旨在提供一个基于实际业务场景的行为分析平台,能够根据业务特点选择算法对电力数据进行分析,并进行数据可视化展示。与现有的分析平台相比,本系统与业务场景联系更加紧密,数据具有可解释的物理意义;其次,本系统对现有数据分析算法提出改进,在解决原有算法弊端的同时使其更加适合时序数据分析;最后,本系统提供了良好的可扩展性,能够支持未来接入新的算法与场景。为了实现本行为分析平台,本文首先对相关技术研究现状进行调研,分析系统实现的难度和可行性。其次,通过对系统的需求进行分析,划分出具体的功能需求,设计用户相似度分析场景和异常用户检测场景。随后对系统实现过程中需要解决的关键问题进行分析与实现:为了能够有效衡量时序数据相似性,本文提出了一种基于改进DTW的用户相似度分析方法,创新性地引入搜索约束和平移约束,在提升计算效率的同时更加适应电力数据特点;为了能够筛选潜在异常用户,本文提出了一种基于多时间尺度的异常用户检测方法,创新性地将短期用电模式与长期用户行为结合起来,综合衡量用户是否异常。之后,对整个平台进行设计与实现,将系统划分为不同模块并对关键模块进行详细设计,完成平台搭建并对功能进行详细测试。最后,文章对整体工作进行总结,指出行为分析平台尚存的不足之处以及未来的改进方向。
庞子卯[4](2020)在《基于内容的图像安全检索技术研究》文中研究表明随着智能设备和互联网的普及,多媒体数据量急速增长,基于内容的图像检索(Content-based Image Retrieval,CBIR)能够从大规模图像中搜索出相似图像,实现对数据的利用。对数据拥有者而言,将对图像数据的管理和维护外包给云服务提供商,可以有效降低成本,但存在隐私泄露的问题。关于在数据外包场景下图像隐私保护方法的研究日趋活跃,不少图像安全检索方案相继被提出,然而这些方案存在客户端计算量大、图像拥有者、云服务器和查询用户交互轮数多、通信开销大等问题,很难直接应用。在实际环境中,同一项服务可以由多个云服务器共同提供支持,本文以基于内容的图像安全检索为研究课题,重点研究了双服务器模型下的图像特征提取、索引设计和图像检索方法,主要内容如下:(1)提出了一种基于BOVW特征的图像安全检索方案。该方案结合SIFT特征安全提取和局部敏感哈希算法,实现了对图像BOVW特征的安全提取。为了保护图像的BOVW特征,设计了基于词频划分的倒排索引,对索引进行分块存储。最后,设计了相应的图像检索方法。该方案最大限度的减少了检索过程中图像拥有者和查询用户的参与。(2)提出了一种基于CNN特征的图像安全检索方案。基于图像CNN特征安全提取算法,设计了基于维度划分的可扩展哈希索引。首先,对图像CNN特征分维度进行索引,降低了云端目标图像数据模式隐私泄露的风险。然后,为索引引入了桶分裂机制,避免了数据分布不均匀对检索性能的影响,能够支持图像大量更新的场景,同时,也设计了相应的图像检索算法。(3)对提出的方案的安全性和性能进行了理论分析,并进行了实验验证。基于不同的图像数据集,测试了不同的参数对方案性能的影响,并给出了优化的参数。实验结果表明,与现有的方案相比,本文提出的方案能有效减少客户端的参与,在索引建立和图像检索阶段耗时更少。
高云云[5](2019)在《C语言编译系统的研究与实现》文中研究表明相比于其他自然科学,计算机科学算是较新的科学体系,还有很多技术领域有待学者进一步探索。编译技术是系统软件的设计学科,作为计算机技术发展的基石,学习编译器设计的目的不仅在于其本身的理论和技术,其解决问题的思路与方法更值得学者学习借鉴。本文基于C++编程语言采用面向对象的思想,系统的实现了一个C语言编译器MiniC,并结合MiniC的源代码,从前端和后端两个角度出发,详细介绍了编译器各个模块数据结构和算法框架的设计实现。论文的研究工作主要体现在如下几个方面:前端部分实现包括词法分析、语法分析及与语义分析。词法分析部分采用有穷状态自动机进行单词识别,然后采用哈希表结构实现单词的插入与查找。采用语法制导翻译,在语法分析的过程中直接驱动语义分析,并采用栈式结构组织符号表,实现符号的存储及作用域管理。后端部分实现包括汇编与链接。汇编过程采用直接翻译方式将源语言翻译为机器指令,着重阐述了寄存器的分配算法、程序运行时的存储管理及目标文件生成。链接过程对符号进行分析及重定位,将符号引用与定义相关联,最终生成Windows系统下PE文件格式的可执行文件。错误管理贯穿整个编译系统,统计编译及链接过程中发生的错误,然后向用户输出。最终对编译系统的测试结果表明,本文实现的C编译器能够将源程序经过编译、汇编生成目标文件,再通过链接生成可执行文件,并在目标机器上成功运行得到正确的结果。
李博杰[6](2019)在《基于可编程网卡的高性能数据中心系统》文中认为数据中心是支持当今世界各种互联网服务的基础设施,面临硬件和应用两方面的挑战。硬件方面,通用处理器的性能提升逐渐放缓;应用方面,大数据与机器学习对算力的需求与日俱增。不同于容易并行的Web服务,大数据与机器学习需要各计算节点间更多的通信,这推动了数据中心网络性能的快速提高,也对共享数据存储的性能提出了更高的要求。然而,数据中心的网络和存储基础设施主要使用通用处理器上的软件处理,其性能落后于快速增长的网络、存储、定制化计算硬件性能,日益成为系统的瓶颈。与此同时,在云化的数据中心中,灵活性也是一项重要需求。为了同时提供高性能和灵活性,近年来,可编程网卡在数据中心被广泛部署,利用现场可编程门阵列(FPGA)等定制化硬件加速虚拟网络。本文旨在探索基于可编程网卡的高性能数据中心系统。可编程网卡在加速虚拟网络之外,还可以加速网络功能、数据结构、操作系统等。为此,本文用FPGA可编程网卡实现云计算数据中心计算、网络、内存存储节点的全栈加速。首先,本文提出用可编程网卡加速云计算中的虚拟网络功能,设计和实现了首个在商用服务器中用FPGA加速的高灵活性、高性能网络功能处理平台ClickNP。为了简化FPGA编程,本文设计了类C的ClickNP语言和模块化的编程模型,并开发了一系列优化技术,以充分利用FPGA的海量并行性;实现了ClickNP开发工具链,可以与多种商用高层次综合工具集成;基于ClickNP设计和实现了200多个网络元件,并用这些元件组建起多种网络功能。相比基于CPU的软件网络功能,ClickNP的吞吐量提高了10倍,延迟降低到1/10。其次,本文提出用可编程网卡加速远程数据结构访问。本文基于ClickNP编程框架,设计实现了一个高性能内存键值存储系统KV-Direct,在服务器端绕过CPU,用可编程网卡通过PCIe直接访问远程主机内存中的数据结构。通过把单边RDMA的内存操作语义扩展到键值操作语义,KV-Direct解决了单边RDMA操作数据结构时通信和同步开销高的问题。利用FPGA可重配置的特性,KV-Direct允许用户实现更复杂的数据结构。面对网卡与主机内存之间PCIe带宽较低、延迟较高的性能挑战,通过哈希表、内存分配器、乱序执行引擎、负载均衡和缓存、向量操作等一系列性能优化,KV-Direct实现了 10倍于CPU的能耗效率和微秒级的延迟,是首个单机性能达到10亿次每秒的通用键值存储系统。最后,本文提出用可编程网卡和用户态运行库相结合的方法为应用程序提供套接字通信原语,从而绕过操作系统内核。本文设计和实现了一个用户态套接字系统SocksDirect,与现有应用程序完全兼容,能实现接近硬件极限的吞吐量和延迟,多核性能具有可扩放性,并在高并发负载下保持高性能。主机内和主机间的通信分别使用共享内存和RDMA实现。为了支持高并发连接数,本文基于KV-Direct实现了一个RDMA可编程网卡。通过消除线程间同步、缓冲区管理、大数据拷贝、进程唤醒等一系列开销,SocksDirect相比Linux提升了7至20倍吞吐量,降低延迟到1/17至1/35,并将Web服务器的HTTP延迟降低到1/5.5。
刘洋[7](2019)在《基于图的哈希方法的多媒体数据检索研究》文中研究指明爆炸性增长的多媒体数据给当前计算机系统的管理、运算和存储带来了极大的压力。面对海量的多媒体数据,实现对这些数据的有效存储、管理和利用已经成为机器学习和计算机视觉领域亟待解决的重要问题之一。检索是机器学习领域的一个基本应用,海量多媒体数据的高效检索对挖掘和利用多媒体数据资源具有极为重要的意义。面对图像、视频、音频、文本等种类丰富的海量多媒体数据,如何对其进行高效检索,成为了当前学术界和工业界炙手可热的研究内容。针对大规模多媒体数据,利用哈希学习生成哈希编码的数据表示方式能有效减少数据存储和计算过程中的开销,同时降低数据维度,提升大规模数据检索系统的效率。目前哈希学习的方法在多媒体信息检索领域的研究已经取得初步成效,然而哈希学习过程中原始空间样本相似性度量和相似性信息保持的方法仍然有待进一步研究,哈希方法的应用场景仍需要进一步探索。本文对基于图的哈希方法理论和其在多媒体数据检索中的应用展开研究,对有效保持原始空间样本间相似性结构的哈希方法进行了探索,同时对哈希方法的应用场景进行了拓展。本文主要工作如下:(1)对原始空间样本间全局重构相似性进行研究,并利用其构建样本间全局相似性结构图,提出了全局相似性保持的哈希方法。该方法能够有效地挖掘样本间潜在的流形相似性结构,实现对原始空间样本间全局相似性的准确描述。除此之外该方法还提供从原始数据到哈希编码的直接映射,降低“两阶段”哈希编码框架下的降维误差和哈希编码量化损失,有效地将原始空间中样本间的全局相似性保持到汉明空间。实验结果表明,该方法可以有效地描述原始空间样本间的潜在流形相似性结构,并将这种结构保持到汉明空间,生成反映原始空间样本间相似性结构的哈希编码。(2)利用原始空间样本间的局部重构相似性和局部基于距离的几何结构(距离相似性)来实现对原始数据样本间的相似性的准确描述,提出了局部拓扑结构保持的哈希方法。该方法构建的图结构能够有效地提升对原始空间样本的局部相似性描述的准确性。该方法将分类算法引入到哈希映射学习的过程中,将哈希编码学习的过程和分类器训练过程相统一,实现从原始空间到汉明空间的显式映射,有效地将原始空间中样本间的局部相似性结构保持到汉明空间。实验结果证明该方法可以有效地生成保持原始空间样本间相似性结构的哈希编码。(3)对多特征、多模态情景下的哈希方法展开研究,利用监督信息构建样本间的判别相似性结构图,并以此为基础提出了判别比特选择哈希方法。不同于多特征、多模态情景下大部分哈希方法所选择的“融合+编码”的框架,判别比特选择哈希方法利用“编码+选择”的框架充分挖掘不同特征不同模态的数据信息,还有效利用现有的哈希方法,提升现有哈希方法的利用率。判别比特选择哈希方法利用监督信息构建比特选择标准,同时利用ADMM算法克服哈希编码选择过程中离散性约束带来的求解困难问题,提升哈希编码选择的效果,将能够充分保持样本间相似性的编码选取出来。利用哈希编码运算速率快的特性,本文还进一步地提出了面向多模态数据的目标识别框架——“哈希+近似近邻投票”,有效利用样本间的相似性信息进行目标识别,提升多模态数据环境下目标识别的效率。实验结果证明判别比特选择哈希方法能够有效选择保持样本间相似性的哈希编码,“哈希+近似近邻投票”的框架能够实现多模态数据环境下目标的高效准确识别。(4)对基于图的哈希方法在人体运动时间序列的分割和检索中的应用展开研究。人体运动序列作为多媒体数据的集中表现形式之一,对其进行语义化检索的基础任务之一就是进行有效地分割。为了实现人体运动时间序列的高效分割,本文提出了基于哈希方法的层次人体运动序列分割框架。该框架首先对人体运动序列动作变化程度展开研究,实现对人体运动时间序列的初步分割。在此基础上,不仅考虑人体运动时间序列某一时刻动作的变化程度,更对人体运动时间序列动作变化过程展开研究,利用哈希方法将人体运动过程转化为状态变化的过程,并对同一类别动作的内部相关性展开描述,有效减少人体运动序列分割过程中的过度分割。在分割的基础上,本文针对人体运动序列检索展开研究,利用哈希方法实现人体运动序列关键帧的提取,提升基于哈希方法的人体运动序列检索的效果。实验结果证明基于哈希方法的层次人体运动序列分割框架的有效性,及基于哈希方法的人体运动序列检索的效果。综上所述,本文主要针对基于图的哈希方法及其在多媒体数据检索中的应用展开研究,提出3种基于图的哈希方法并对基于图的哈希方法在图像检索、人体运动序列分割与检索等实际应用中的情况进行了研究和分析。实验结果表明本文所提算法的有效性及其对比现有算法的优越性。
陈驰[8](2018)在《基于云的无人机监控平台的设计与实现》文中研究表明无人机作为一种新兴出现的技术,目前正在悄无声息地改变着人们的生活,并有可能使得商业和产业领域发生革命性的变革。因其具备长时间、高强度、高精确性以及适应恶劣工作环境的特点,无人机不仅在军事领域有着侦查等应用,更在自然灾害救援,物流配送等领域有着蓬勃的发展。随着目前军事无人机和商业无人机数量的增加,无人机集群的监控显得尤为重要。无人机的监控过程中涉及多项技术,包括数据处理、数据存储、远程通信等,对其研究的技术挑战性很大,目前是非常热门的研究课题。传统无人机监控的方案主要针对单台无人机,并通过无线电进行连接,这样就使得计算处理任务落在无人机机体上,处理能力较低,同时监控数据不便保存,使得数据难以查询。目前对“云+无人机”的研究仍旧处于初级阶段,针对无人机集群监控的场景,没有提出一个通用性的解决方案,针对海量数据来满足实时性和可靠性的要求。基于上述问题,本文研究重点是提出适用于无人机集群监控的架构模型,将无人机监控和云平台充分整合,并提供层次化的监控解决方案,从而实现无人机集群的高效监控。本文以无人机集群为研究对象,从以下四个方面开展工作内容:(1)云无人机监控平台的整体架构设计。设计无人机集群监控的支撑架构,其主要包括静态部署架构和动态流程架构。静态部署架构主要解决如何通过云平台来监控无人机,将云平台与无人机充分整合。动态流程架构提出“自下而上”的监控数据处理流程,解决采用云平台后,如何对无人机集群进行更为高效的监控。(2)基于化身的无人机抽象管理机制。在云端构造无人机化身,与现实世界的无人机一一对应,可以通过管理无人机化身,映射到现实世界的无人机,并通过无人机化身进行监控数据的获取。这是监控流程的第一步,解决了如何高效管理无人机集群以及监控数据如何获取的问题。(3)异构监控数据存储管理机制。将监控数据按照数据类型分为结构化数据以及非结构化数据,分别针对每种类型的数据采取高效的存储方式,加快数据的存储速度以及查询速度,降低监控平台数据存储开销。这是监控流程的第二步,解决了如何高效存储监控数据以及数据查询的问题。(4)面向无人机集群的监控保障机制。针对无人机集群产生的大量数据,在云端采取“多线程+分布式”和缓存策略的监控数据处理,保障监控数据的实时响应以及响应数据的准确性。这是监控流程的第三步,解决了如何支撑无人机集群大规模数据监控的行为。最后,在上述架构设计和关键机制基础之上,本文实现了监控平台的原型系统。对可视化监控工具进行了构建,对监控数据进行了展示,这是监控流程的第四步。并针对监控平台进行了相关机制的实验验证,证明了本文工作的可行性和有效性。
孙振[9](2018)在《面向备份系统的重复数据删除关键技术研究》文中指出大数据时代,数据量正以前所未有的速度增长,全球数据总量突破10ZB,单个数据中心数据量也达到了EB级。数据量快速增长对存储系统提出了更高的挑战,其中,如何有效地对大数据进行保护成为研究热点。作为数据保护最常用的手段,备份系统会成倍地增加数据量,带来严重的存储空间消耗。研究表明,数字世界中包含大量冗余数据,尤其是在备份系统中,冗余数据比例普遍高于80%。重复数据删除作为一种数据缩减技术,能有效地检测和删除备份系统中的冗余数据,显着提高存储利用率,降低管理成本。同时,重删能减小备份窗口,并在远程备份时降低网络通信开销,因此得到了广泛应用。但是,备份系统中重删技术仍面临挑战。首先,重删系统的设计随着存储环境的不同而改变,而对于备份系统,缺乏一个针对重删的长期数据集研究。其次,当数据量过大而不能存储在单个节点时,分布式重删会带来存储节点间信息孤岛效应,需要设计有效的数据路由算法来合理分配数据,以保证集群重删率和节点间负载均衡。再次,长时间的备份操作会带来存储碎片化,严重影响了备份的写入和恢复速度。最后,常用的重删策略将备份数据以数据流的形式处理,无法利用用户数据间相似度指导路由,导致严重的路由开销。本文在研究当前备份系统中重复数据删除技术研究现状的基础上,通过深入分析数据集特性,设计并实现了新的集群重删策略。本文主要工作和创新点如下:(1)自主收集了数据集FSL-Homes,并从重复数据删除角度对该数据集进行了详尽地分析与测试,总结出许多有价值的结论,并在众多高水平论文中得到了引用。该公开发布的数据集跨度长达2.5年,包含了32个用户超过4000份快照,总数据量超过450TB,且包含丰富的元数据。从单节点重删和集群重删的角度对该数据集进行了测试与分析。在单节点测试中,发现由于备份系统存在较高的冗余度,采用小的数据分块方式由于其带来的元数据开销反而会降低重删率。全文件分块方式重删效果很差,主要由于占据数据集绝大部分空间的大文件采用全文件分块时重删率极低。从用户个人数据角度进行测试与分析时,发现属于同一工作环境的用户在重删特性上差异极大,不同用户在重删率以及对分块大小的敏感度上存在显着差异。在集群重删性能测试中,我们首先对目前7种代表性数据路由算法进行分类总结并加以实现,随后从集群重删率、逻辑/物理负载均衡和通信开销三个方面对这些算法进行了测试分析。结果显示以文件为路由粒度可以提高系统的集群重删率,但会导致负载不均衡,这主要是因为不同文件类型之间的大小差异很大。采用大的数据分块可显着提高备份系统性能,因为其路由开销和重删开销(包括分块、索引和元数据开销)都会降低,且对重删率的影响并不大。由于不同数据块自身冗余度并不相同,因此对于同一种算法,其逻辑和物理负载均衡效果并不一致。通过上述分析结果,对未来备份系统中重复数据删除技术的应用提出了有价值的建议。(2)提出了基于用户信息的高效集群重删策略,从数据路由和哈希索引两个角度对系统进行了优化。基于用户信息数据路由算法首次利用用户数据集间的相似度来指导集群重删系统数据路由。通过对FSL-Homes数据集的分析,发现用户数据集间相似度有明显的分组特性,可使同一组内用户间数据高度冗余,而不同组间用户数据冗余度较低。为了对用户快速分组,研究了组内用户共享数据属性,发现这些用户彼此间共享数据块相似度极高,且其出现频率显着高于其他数据块。基于上述发现,设计并实现了基于用户信息的数据路由算法,在各存储节点构建用户热数据索引,来指导超块路由。通过开发用户数据间的相似性,该数据路由算法可以在采用极大超块的基础上,把相似用户数据路由到同一存储节点,在保证系统重删率的同时减少路由开销。在存储节点哈希索引阶段,利用用户连续快照间相似度较高的结论,设计了基于文件谱的哈希索引优化策略,有效减轻了碎片化对备份系统写性能的影响。实验结果显示,该集群重删策略能有效提高集群重删率,显着降低路由开销并提高备份系统的写速度。(3)提出了一种可扩展、低通信开销的数据路由算法DS-Dedup,以应用于不包含用户信息的集群重删场景。该算法在每个客户端建立一个超块相似度索引表,以充分利用客户端数据流的相似性。对于一个新的超块,首先将其掌纹在该索引中进行相似度匹配,当掌纹与索引表中的相似度大于一定阈值,且具有最高的加权相似度时,可直接确定目标存储节点,避免了路由过程中的通信开销。对于相似性较低的超块,采用一致性哈希表进行路由传输,以保证系统的可扩展性。实验结果表明,相对于其他有状态数据路由算法,DS-Dedup能在保证较高的数据重删率基础上,获得近似于无状态路由的网络通信开销,网络开销获得数量级程度的降低。通过上述几项针对大数据环境下备份系统中重复数据删除技术的研究,我们为未来备份系统重复数据删除技术的应用提供了有力的技术支撑。
吴仁克[10](2018)在《分布式数据处理若干关键技术研究》文中进行了进一步梳理随着信息技术的飞速发展,各类信息源和数据在当今世界的各个领域被广泛应用,人类社会进入了大数据时代,但大规模数据的持续产生,其格式和类型也呈现多样化趋势。如何快速、高效地实现大数据处理已经成为当前的研究热点及难点。以分布式数据处理为基础,针对大规模数据分析与处理,本文从四个方面探索并形成面向新型体系结构的分布式数据处理与存储技术:(1)基于国产“神威(Sunway)·太湖之光”众核处理器,本文研究与实现了一个分布式数据并行计算框架SunwayMR,可利用分布式服务器资源,加速数据处理与分析;(2)本文提出一种构建分布式数据并行计算框架的软件构建技术,用以加快此类软件开发进程;(3)充分利用RDMA(Remote Direct Memory Access,远程直接内存访问)和HTM(Hardware Transaction Memory,硬件事务内存)技术,本文提出一个可运用于分布式环境的、键值对数据存储系统RHKV,加速数据的“存”和“取”操作,可支撑上层数据密集型应用计算;(4)针对社会关键信息基础设施的智慧信息系统建设,本文提出可提供个性化服务的分布式数据处理与分析解决方案EDAWS。具体如下:(1)本文研究与实现了分布式数据并行计算框架SunwayMR,它只需要GCC/G++环境即可运行。具体地:本文提出基于分布式计算单元集合DCUS(Data Computing Unit Set)的数据划分策略、分布式消息通信机制和任务组织策略,支持在并行硬件上执行数据分析应用程序。SunwayMR为各种数据分析应用提供公开的应用编程接口(API);与使用OpenMPI/MPI等编程模式相比,使用SunwayMR有效地避免了繁杂的编码,保证了框架的易用性。在一定程度上,SunwayMR对于测试数据集的尺寸大小、计算节点数量、线程数量而言,也具备较好的规模扩展适应性。(2)为了更好地辅助分析分布式数据并行计算框架系统内部,从软件构建角度出发,开展适当的软件架构建模。但是,不恰当的架构模型往往导致系统设计冲突等问题;在设计和开发阶段系统需求在不断变化,系统的可变化点不可预测。为此,本文提出可适用于分布式数据并行计算框架的自适应架构建模技术,综合架构设计、行为分析和自适应机制,形成一种软件构建技术,指导此类软件的开发。以本文的分布式数据并行计算框架原型系统SunwayMR软件构建为例,给出实际开发学习过程。结果表明,所提的软件构建技术具备可用性和有效性。(3)利用分布式系统服务器的动态随机存取存储器DRAM设计键值对数据存储,是应对存储容量压力、I/O性能瓶颈的解决方案,为数据密集型计算应用提供数据访问服务。然而,使用传统网络远程访问数据存在网络往返round trips延时高和请求冲突等问题,这导致数据访问的延时增加。为此,本文提出基于RDMA和HTM友好的Key-Value键值对数据存储系统RHKV,包含RHKV服务器端和RHKV客户端。即客户端将数据请求发送到位于在服务器端的改进型Cuckoo哈希数据管理模式—G-Cuckoo中。管理模式通过桶-点(bucket—vertex)映射方式构建Cuckoo图,在键值对数据插入Cuckoo哈希表的过程中,维持桶-点映射方式并预测kick-out死循环出现与否,避免出现哈希表间无限次kick-out循环问题。RHKV利用先进的HTM技术保证数据操作的原子性。使用性能测试工具Yahoo!Cloud Serving Benchmark(YCSB)开展数据访问的性能对比测评。(4)社会关键信息基础设施的智慧信息系统在投入使用时数据不断产生。在单一计算节点上开展大规模数据分析时,速度性能不佳。本文提出一个面向社会关键信息基础设施建设的分布式数据处理与分析解决方案EDAWS(a Novel Distributed Framework with Efficient Data Analytics Workspace towards Discriminative Service for Critical Infrastructures):基于数据分析工作空间的、可提供个性化服务的新型分布式框架。即,服务器端平台系统地收集获取、存储并分析原生数据;在分布式计算环境上并行地构建索引,开展数据业务分析,挖掘个性化的服务;通过利用便捷的移动终端设备,以远程的方式快速获取服务器端的大数据服务。为了例证所提解决方案的有效性,本文给出可提供个性化服务的“智慧社区”案例。在小型集群环境上运行原型系统,使用真实数据集开展实验测试:原型系统对计算节点的数量和数据集的大小具备一定规模适应性,能智能地将原生数据转换为用户所需要的大数据服务。
二、一种基于多哈希表的堆式动态存储管理方法(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、一种基于多哈希表的堆式动态存储管理方法(论文提纲范文)
(1)面向电网拓扑管理的图数据库关键技术研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 图数据库技术在电网中的应用 |
1.2.1 图数据库技术 |
1.2.2 图数据库技术在电网中的应用分析 |
1.3 研究内容与结构安排 |
第二章 相关背景知识介绍 |
2.1 相关算法基础理论 |
2.1.1 图论基础知识 |
2.1.2 图查询算法 |
2.1.3 哈希算法 |
2.2 图数据库 |
2.2.1 Neo4j图数据库 |
2.2.2 Tiger Graph图数据库 |
2.3 本章小结 |
第三章 面向电网拓扑管理的图数据建模方法 |
3.1 引言 |
3.2 国内外研究现状 |
3.3 模型设计 |
3.3.1 电网末端设备建模 |
3.3.2 设置电网业务优先级 |
3.3.3 模型构建 |
3.4 电网拓扑数据模型管理 |
3.5 本章小结 |
第四章 基于多哈希算法的电网图数据库存储策略研究 |
4.1 引言 |
4.2 国内外研究现状 |
4.3 基于多哈希算法的电网图数据库存储策略研究 |
4.3.1 频繁子图筛选 |
4.3.2 多重哈希编码索引 |
4.3.3 基于多重哈希编码索引和子图筛选的存储优化 |
4.4 实验结果与分析 |
4.5 本章小结 |
第五章 基于BFS的电网图数据库查询优化策略研究 |
5.1 引言 |
5.2 国内外研究现状 |
5.3 基于BFS的最短路径查询优化算法 |
5.3.1 BFS双向搜索 |
5.3.2 基于节点阻断的双向BFS算法 |
5.4 实验结果与分析 |
5.5 本章小结 |
第六章 面向电力拓扑管理的图数据管理原型系统设计与实现 |
6.1 需求分析 |
6.2 功能框架 |
6.3 系统设计与实现 |
6.3.1 系统流程 |
6.3.2 系统实现 |
6.4 本章小结 |
第七章 总结与展望 |
7.1 总结 |
7.2 展望 |
参考文献 |
附录1 攻读硕士学位期间撰写的论文 |
附录2 攻读硕士学位期间申请的专利 |
附录3 攻读硕士学位期间参加的科研项目 |
致谢 |
(2)面向边缘计算的高效能非易失存储关键技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景和意义 |
1.2 边缘计算的前景与挑战 |
1.2.1 边缘计算应用前景 |
1.2.2 边缘计算的挑战 |
1.3 新型非易失存储器综述 |
1.3.1 缓存层中的非易失存储器 |
1.3.2 主存层中的非易失存储器 |
1.3.3 外存层中的非易失存储器 |
1.3.4 基于非易失存储器的存内计算及非易失处理器 |
1.4 研究内容及主要创新点 |
1.5 论文的组织结构 |
第2章 基于FPGA阵列的高效能非易失存储系统设计 |
2.1 引言 |
2.2 相关研究工作 |
2.3 基于FPGA阵列的多层次NVM验证架构 |
2.3.1 主FPGA NVM控制单元 |
2.3.2 从FPGA NVM控制器设计 |
2.3.3 主从FPGA高速互联接口设计 |
2.4 面向MRAM的多层次存储系统设计 |
2.4.1 硬件原型设计 |
2.4.2 软硬协同系统设计 |
2.5 实验结果与分析 |
2.5.1 实验设计 |
2.5.2 实验结果 |
2.6 本章总结 |
第3章 面向边缘计算的高效能缓存系统研究与优化 |
3.1 引言 |
3.2 相关基础和研究工作 |
3.2.1 哈希运算部署探讨 |
3.2.2 非易失FPGA片上缓存相关性研究 |
3.3 高效能可重构哈希加速架构 |
3.3.1 核心控制单元 |
3.3.2 存储管理单元 |
3.3.3 运算执行单元 |
3.3.4 局部动态可重构策略 |
3.4 性能感知的非易失FPGA片上存储细粒度均衡损耗策略设计 |
3.4.1 性能感知的字级别均衡损耗策略 |
3.4.2 地址线重映射模型建立 |
3.4.3 性能感知的地址线映射算法 |
3.5 实验结果及分析 |
3.5.1 高效能可重构哈希加速架构实验结果与分析 |
3.5.2 性能感知的非易失FPGA片上缓存细粒度均衡损耗策略实验结果与分析 |
3.6 本章总结 |
第4章 基于MLC的高效能非易失FPGA架构与打包策略设计 |
4.1 引言 |
4.2 相关基础和研究工作 |
4.2.1 FPGA结构分析 |
4.2.2 FPGA综合流程综述 |
4.2.3 MLC非易失存储 |
4.3 MLC非易失存储可重构逻辑结构设计 |
4.3.1 MLC_7V_base结构 |
4.3.2 MLC_7V结构 |
4.3.3 MLC_7V_Share结构 |
4.3.4 MLC_7V_dep 5和MLC_7V_dep56结构 |
4.4 面向MLC非易失可重构逻辑的性能驱动打包算法 |
4.4.1 动机分析 |
4.4.2 MTPack算法 |
4.5 实验结果与分析 |
4.5.1 实验建立 |
4.5.2 面积开销分析 |
4.5.3 关键路径延迟分析 |
4.5.4 漏电功耗分析 |
4.5.5 MTPack性能分析 |
4.6 本章总结 |
第5章 总结与展望 |
5.1 本文总结 |
5.2 课题展望 |
参考文献 |
致谢 |
攻读学位期间主要论文目录 |
攻读学位期间参与科研项目及获奖情况 |
专业词语和缩略词汇总表 |
外文论文 |
学位论文评阅及答辩情况表 |
(3)面向电网大数据的电力用户行为分析平台设计与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景 |
1.2 国内外研究现状 |
1.3 论文主要工作与创新点 |
1.4 论文总体结构 |
第二章 相关技术 |
2.1 数据可视化技术 |
2.1.1 ECharts |
2.1.2 MVVM与Vue框架 |
2.2 电力用户行为分析相关技术 |
2.2.1 相似度度量算法 |
2.2.2 动态时间规整算法 |
2.2.3 隐变量自学习算法 |
2.3 本章小结 |
第三章 需求分析 |
3.1 典型应用场景 |
3.1.1 用户相似度分析场景 |
3.1.2 异常用户检测场景 |
3.2 业务功能需求分析 |
3.2.1 场景与算法实现 |
3.2.2 数据存储管理 |
3.2.3 配置管理 |
3.2.4 任务执行管理 |
3.2.5 可视化管理 |
3.3 辅助功能需求分析 |
3.4 本章小结 |
第四章 基于改进DTW的用户相似度分析方法研究 |
4.1 问题描述 |
4.2 方法设计与实现 |
4.2.1 补充约束 |
4.2.2 算法实现 |
4.2.3 聚类算法选择 |
4.3 实验验证 |
4.3.1 数据及指标定义 |
4.3.2 实验结果分析 |
4.3.3 算法对比 |
4.3.4 时间复杂度分析 |
4.4 本章小结 |
第五章 基于多时间尺度的异常用户检测方法研究 |
5.1 问题描述 |
5.2 方法设计与实现 |
5.2.1 短期用电模式聚类 |
5.2.2 用电尺度转换 |
5.2.3 长期用户聚类与用户分析 |
5.3 实验验证 |
5.3.1 数据及指标定义 |
5.3.2 聚类结果分析 |
5.3.3 异常用户筛选 |
5.3.4 异常原因分析 |
5.3.5 算法对比 |
5.4 与相似度分析的关系 |
5.5 本章小结 |
第六章 系统总体设计 |
6.1 系统总体架构 |
6.2 系统模块介绍 |
6.2.1 数据存储模块 |
6.2.2 配置管理模块 |
6.2.3 任务执行模块 |
6.2.4 系统管理模块 |
6.2.5 可视化模块 |
6.3 主要功能流程 |
6.3.1 数据分析整体流程 |
6.3.2 参数配置流程 |
6.3.3 数据分析流程 |
6.3.4 数据可视化流程 |
6.4 本章小结 |
第七章 关键模块设计与实现 |
7.1 任务执行模块 |
7.1.1 类图与接口设计 |
7.1.2 模块典型交互流程 |
7.2 配置管理模块 |
7.2.1 算法与场景插件化设计 |
7.2.2 类图与接口设计 |
7.2.3 模块典型交互流程 |
7.3 系统管理模块 |
7.3.1 类图与接口设计 |
7.4 本章小结 |
第八章 系统测试 |
8.1 测试环境 |
8.1.1 软件环境 |
8.1.2 硬件环境 |
8.2 单元测试 |
8.3 集成测试 |
8.4 测试结果 |
8.5 本章小结 |
第九章 结束语 |
9.1 工作总结 |
9.2 未来展望 |
参考文献 |
致谢 |
攻读学位期间发表的学术论文目录 |
(4)基于内容的图像安全检索技术研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究工作的背景与意义 |
1.2 国内外研究现状和发展态势 |
1.3 本文的主要工作及创新 |
1.4 本文的章节安排 |
第二章 基础知识 |
2.1 图像特征提取与预处理 |
2.1.1 尺度不变特征变换 |
2.1.2 图像SIFT特征安全提取 |
2.1.3 视觉词袋模型 |
2.1.4 卷积神经网络 |
2.1.5 图像CNN特征安全提取 |
2.2 局部敏感哈希 |
2.3 相似性度量 |
2.4 本章小结 |
第三章 基于BOVW特征的图像安全检索方案 |
3.1 威胁模型与设计目标 |
3.2 基于双服务器模型的图像安全检索框架 |
3.3 基于BOVW特征的图像安全检索 |
3.3.1 图像检索方案构造 |
3.3.2 图像加密 |
3.3.3 图像BOVW特征安全提取 |
3.3.4 基于词频划分的倒排索引 |
3.3.5 图像安全检索 |
3.4 方案分析 |
3.4.1 安全性分析 |
3.4.2 效率分析 |
3.5 本章小结 |
第四章 基于CNN特征的图像安全检索方案 |
4.1 问题分析与设计目标 |
4.2 基于维度划分的可扩展哈希索引 |
4.2.1 基于维度划分的哈希索引 |
4.2.2 可扩展的哈希索引 |
4.3 图像安全检索 |
4.4 图像更新 |
4.5 方案分析 |
4.5.1 正确性分析 |
4.5.2 安全性分析 |
4.5.3 效率分析 |
4.6 本章小结 |
第五章 实验与分析 |
5.1 实验环境配置 |
5.2 评价指标 |
5.3 实验结果与分析 |
5.3.1 E2LSH参数选择 |
5.3.2 基于BOVW特征的图像安全检索性能 |
5.3.3 基于CNN特征的图像安全检索性能 |
5.3.4 图像检索结果评价 |
5.4 与相关工作的比较 |
5.5 本章小结 |
第六章 全文总结与展望 |
6.1 全文总结 |
6.2 后续工作展望 |
致谢 |
参考文献 |
攻读硕士学位期间取得的成果 |
(5)C语言编译系统的研究与实现(论文提纲范文)
摘要 |
abstract |
专用术语注释表 |
第一章 绪论 |
1.1 C语言简介 |
1.2 论文的研究背景及意义 |
1.3 国内外研究现状 |
1.4 主流C语言编译器 |
1.5 论文的主要工作及结构安排 |
第二章 编译系统设计原理概述 |
2.1 词法分析 |
2.1.1 正则表达式 |
2.1.2 有穷状态自动机 |
2.1.3 从正则表达式到有穷自动机的转换 |
2.1.4 单词识别 |
2.2 语法分析 |
2.2.1 上下文无关法 |
2.2.2 FIRST、FOLLOW集合 |
2.3 语义分析 |
2.3.1 语法制导翻译 |
2.3.2 符号表 |
2.4 汇编生成目标文件 |
2.5 链接生成可执行文件 |
2.5.1 PE文件格式 |
2.5.2 可选文件头 |
2.6 主流编译器及相关工具实现技术对比 |
2.7 本章小结 |
第三章 编译系统前端设计与实现 |
3.1 词法分析 |
3.1.1 分词算法框架 |
3.1.2 单词编码规则 |
3.1.3 DFA实现 |
3.1.4 单词表数据结构 |
3.1.5 哈希冲突解决方法 |
3.2 语法分析及语义分析 |
3.2.1 文法定义 |
3.2.2 类型信息 |
3.2.3 符号表设计实现 |
3.3 错误管理 |
3.4 模块间关系及类结构设计 |
3.5 本章小结 |
第四章 编译器后端设计与实现 |
4.1 目标机器 |
4.1.1 汇编指令 |
4.1.2 寄存器分配 |
4.2 运行时的存储管理 |
4.2.1 过程活动记录 |
4.2.2 栈式存储管理 |
4.3 生成目标文件 |
4.3.1 节数据存储 |
4.3.2 Obj文件生成 |
4.4 生成可执行文件 |
4.4.1 导入库文件 |
4.4.2 外部符号解析及重定位 |
4.5 模块间关系及类结构设计 |
4.6 本章小结 |
第五章 系统分析及测试 |
5.1 实验环境 |
5.2 系统分析 |
5.3 词法分析器功能测试 |
5.4 语法分析器功能测试 |
5.4.1 基本运算测试 |
5.4.2 语句测试 |
5.5 目标文件生成测试 |
5.6 可执行文件测试 |
5.7 错误管理测试 |
5.8 本章小结 |
第六章 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
附录1 攻读硕士学位期间申请的专利 |
致谢 |
(6)基于可编程网卡的高性能数据中心系统(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究的背景和意义 |
1.2 国内外研究现状 |
1.2.1 优化软件 |
1.2.2 利用新型商用硬件 |
1.2.3 设计新硬件 |
1.3 本文的研究内容和贡献 |
1.4 论文结构安排 |
第2章 数据中心与可编程网卡概论 |
2.1 数据中心的发展趋势 |
2.1.1 资源虚拟化 |
2.1.2 分布式计算 |
2.1.3 定制化硬件 |
2.1.4 细粒度计算 |
2.2 “数据中心税” |
2.2.1 虚拟网络 |
2.2.2 网络功能 |
2.2.3 操作系统 |
2.2.4 数据结构处理 |
2.3 可编程网卡的架构 |
2.3.1 专用芯片(ASIC) |
2.3.2 网络处理器(NP) |
2.3.3 通用处理器(SoC) |
2.3.4 可重构硬件(FPGA) |
2.4 可编程网卡在数据中心的应用 |
2.4.1 微软Azure云 |
2.4.2 亚马逊AWS云 |
2.4.3 阿里云、腾讯云、华为云、百度 |
第3章 系统架构 |
3.1 网络加速 |
3.1.1 网络虚拟化加速 |
3.1.2 网络功能加速 |
3.2 存储加速 |
3.2.1 存储虚拟化加速 |
3.2.2 数据结构处理加速 |
3.3 操作系统加速 |
3.4 可编程网卡 |
第4章 ClickNP网络功能加速 |
4.1 引言 |
4.2 背景 |
4.2.1 软件虚拟网络与网络功能的性能挑战 |
4.2.2 基于FPGA的网络功能编程 |
4.3 系统架构 |
4.3.1 ClickNP开发工具链 |
4.3.2 ClickNP编程 |
4.4 FPGA内部并行化 |
4.4.1 元件间并行化 |
4.4.2 元件内并行 |
4.5 系统实现 |
4.5.1 ClickNP工具链和硬件实现 |
4.5.2 ClickNP元件库 |
4.5.3 PCIE I/O通道 |
4.5.4 Verilog元件 |
4.6 应用与性能评估 |
4.6.1 数据包生成器和抓包工具 |
4.6.2 OpenFlow防火墙 |
4.6.3 IPSec网关 |
4.6.4 L4负载平衡器 |
4.6.5 pFabric流调度器 |
4.7 讨论: 资源利用率 |
4.8 本章小结 |
第5章 KV-Direct数据结构加速 |
5.1 引言 |
5.2 背景 |
5.2.1 键值存储的概念 |
5.2.2 键值存储的工作负载变化 |
5.2.3 现有键值存储系统的性能瓶颈 |
5.2.4 远程直接键值访问面临的挑战 |
5.3 KV-Direct操作原语 |
5.4 键值处理器 |
5.4.1 哈希表 |
5.4.2 Slab内存分配器 |
5.4.3 乱序执行引擎 |
5.4.4 DRAM负载分配器 |
5.4.5 向量操作译码器 |
5.5 系统性能评估 |
5.5.1 系统实现 |
5.5.2 测试床与评估方法 |
5.5.3 吞吐量 |
5.5.4 能耗效率 |
5.5.5 延迟 |
5.5.6 对CPU性能的影响 |
5.6 扩展 |
5.6.1 基于CPU的分散.聚集DMA |
5.6.2 单机多网卡 |
5.6.3 基于SSD的持久化存储 |
5.6.4 分布式键值存储 |
5.7 讨论 |
5.7.1 不同容量的网卡硬件 |
5.7.2 对现实世界应用的影响 |
5.7.3 可编程网卡内的有状态处理 |
5.8 相关工作 |
5.9 本章小结 |
第6章 SocksDirect通信原语加速 |
6.1 引言 |
6.2 背景 |
6.2.1 Linux套接字简介 |
6.2.2 Linux套接字中的开销 |
6.2.3 高性能套接字系统 |
6.3 架构概览 |
6.4 系统设计 |
6.4.1 无锁套接字共享 |
6.4.2 基于RDMA和共享内存的环形缓冲区 |
6.4.3 零拷贝 |
6.4.4 事件通知 |
6.4.5 连接管理 |
6.5 系统性能评估 |
6.5.1 评估方法 |
6.5.2 性能微基准测试 |
6.5.3 实际应用性能 |
6.6 讨论: 连接数可扩放性 |
6.6.1 基于可编程网卡的传输层 |
6.6.2 基于CPU的传输层 |
6.6.3 多套接字共享队列 |
6.6.4 应用、协议栈与网卡间的接口抽象 |
6.7 本章小结 |
第7章 总结与展望 |
7.1 全文总结 |
7.2 未来工作展望 |
7.2.1 基于片上系统的可编程网卡 |
7.2.2 开发工具链 |
7.2.3 操作系统 |
7.2.4 系统创新 |
参考文献 |
致谢 |
在读期间发表的学术论文与取得的研究成果 |
(7)基于图的哈希方法的多媒体数据检索研究(论文提纲范文)
摘要 |
Abstract |
主要符号表 |
1 引言 |
1.1 研究背景及意义 |
1.2 国内外相关研究进展 |
1.2.1 哈希学习方法研究进展及现状 |
1.2.2 图方法研究进展及现状 |
1.2.3 人体运动时间序列分割研究进展及现状 |
1.3 本文主要研究内容 |
1.4 本文组织结构 |
2 全局相似性保持的哈希方法 |
2.1 引言 |
2.2 显式线性降维方法 |
2.3 全局相似性保持的哈希方法 |
2.3.1 全局线性表示 |
2.3.2 全局相似性保持映射 |
2.3.3 全局相似性保持的哈希方法 |
2.4 实验结果与分析 |
2.4.1 手工数据集可视化实验 |
2.4.2 CIFAR-10数据集检索实验 |
2.4.3 22K LabelMe数据集检索实验 |
2.4.4 NUS-WIDE多标签数据集检索实验 |
2.4.5 参数影响分析 |
2.5 本章小结 |
3 局部拓扑结构保持的哈希方法 |
3.1 引言 |
3.2 极限学习机算法介绍 |
3.3 局部拓扑结构保持的哈希方法 |
3.3.1 局部拓扑结构保持映射 |
3.3.2 局部拓扑结构保持的哈希方法 |
3.4 实验结果与分析 |
3.4.1 CIFAR-10数据集检索实验 |
3.4.2 Caltech 256数据集检索实验 |
3.4.3 Caltech 101数据集检索实验 |
3.4.4 GIST 1M数据集检索实验 |
3.4.5 参数影响分析 |
3.5 本章小结 |
4 判别比特选择哈希方法 |
4.1 引言 |
4.2 比特选择哈希方法 |
4.3 判别比特选择哈希方法 |
4.3.1 判别比特选择标准 |
4.3.2 基于ADMM的判别比特选择哈希方法 |
4.3.3 基于哈希近似最近邻检索的多模态目标识别 |
4.4 实验结果与分析 |
4.4.1 多特征检索实验 |
4.4.2 多模态数据检索实验 |
4.4.3 多哈希方法检索实验 |
4.4.4 多模态目标识别实验 |
4.4.5 参数影响分析 |
4.5 本章小结 |
5 基于哈希方法的人体运动序列分割与检索 |
5.1 引言 |
5.2 基于维数约简的人体运动序列分割 |
5.2.1 基于PCA和PPCA算法的人体运动序列分割 |
5.2.2 时间序列弯曲度量曲率分割算法 |
5.3 基于哈希方法的人体运动序列分割与检索 |
5.3.1 基于动作变化程度的人体运动序列分割 |
5.3.2 基于哈希的状态变化分割方法 |
5.3.3 基于哈希方法的人体运动序列检索 |
5.4 实验结果与分析 |
5.4.1 基于传感器数据的人体运动序列分割实验 |
5.4.2 基于视频的人体运动序列分割实验 |
5.4.3 人体运动序列检索实验 |
5.5 本章小结 |
6 结论与展望 |
6.1 结论 |
6.2 创新点摘要 |
6.3 展望 |
参考文献 |
攻读博士学位期间科研项目及科研成果 |
致谢 |
作者简介 |
(8)基于云的无人机监控平台的设计与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景 |
1.1.1 无人机集群的发展 |
1.1.2 无人机监控平台 |
1.2 研究内容 |
1.3 论文组织结构 |
第二章 相关技术研究 |
2.1 云无人机监控研究 |
2.2 通信协议技术 |
2.2.1 MAVLink协议 |
2.2.2 HTTP协议 |
2.3 数据存储技术 |
2.3.1 关系型数据库 |
2.3.2 非关系型数据库 |
2.3.3 分布式文件系统 |
2.4 分布式和大数据相关技术 |
2.4.1 消息队列MQ |
2.4.2 Storm流式数据处理框架 |
2.5 本章小结 |
第三章 云无人机监控平台架构 |
3.1 设计目标 |
3.1.1 静态部署架构设计目标 |
3.1.2 动态流程架构设计目标 |
3.2 静态部署架构 |
3.2.1 客户端层 |
3.2.2 云服务层 |
3.2.3 无人机层 |
3.3 动态流程架构 |
3.3.1 数据获取层 |
3.3.2 数据存储层 |
3.3.3 数据处理层 |
3.3.4 数据展示层 |
3.4 本章小结 |
第四章 云无人机监控平台关键机制 |
4.1 基于化身的无人机抽象管理机制 |
4.1.1 无人机的化身抽象 |
4.1.2 无人机化身数据获取 |
4.1.3 无人机化身动态管理 |
4.2 异构监控数据存储管理机制 |
4.2.1 数据存储架构 |
4.2.2 结构化数据读写 |
4.2.3 非结构化数据读写 |
4.3 面向无人机集群的监控保障机制 |
4.3.1 监控实时性保障 |
4.3.2 监控可靠性保障 |
4.4 本章小结 |
第五章 原型实现及实验 |
5.1 原型系统实现 |
5.1.1 系统环境与配置 |
5.1.2 服务端实现 |
5.1.3 客户端实现 |
5.2 系统实验及测试 |
5.2.1 多无人机监控管理测试 |
5.2.2 监控数据读写测试 |
5.2.3 监控平台性能测试 |
5.3 本章小结 |
第六章 总结与展望 |
6.1 工作总结 |
6.2 工作展望 |
致谢 |
参考文献 |
作者在学期间取得的学术成果 |
(9)面向备份系统的重复数据删除关键技术研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 课题研究背景 |
1.1.1 大数据存储挑战 |
1.1.2 数据保护技术概述 |
1.1.3 数据缩减技术概述 |
1.1.4 课题来源 |
1.2 重复数据删除技术 |
1.3 相关研究工作 |
1.3.1 数据分块 |
1.3.2 哈希索引优化 |
1.3.3 重删数据集分析 |
1.3.4 集群重复数据删除 |
1.3.5 重删系统中的碎片化 |
1.4 本文的主要工作和创新点 |
1.5 论文结构 |
第二章 多用户备份系统重删数据集分析 |
2.1 背景与相关工作 |
2.1.1 基于单节点的重删数据集分析 |
2.1.2 集群重删数据集分析 |
2.2 方法学 |
2.2.1 数据集采集工具 |
2.2.2 数据集介绍 |
2.2.3 数据集局限性 |
2.2.4 符号及其基本定义 |
2.3 基于单节点重删性能测试与分析 |
2.3.1 重删率测试与分析 |
2.3.2 基于文件的数据集测试与分析 |
2.3.3 基于用户的数据集测试与分析 |
2.4 集群重删性能测试与分析 |
2.4.1 集群重删算法的分类对比 |
2.4.2 集群重删算法性能测试与分析 |
2.4.3 集群重删算法总结 |
2.5 本章小结 |
第三章 基于用户信息的高效集群重删策略 |
3.1 研究背景 |
3.2 相关工作 |
3.2.1 集群重删数据路由算法研究现状 |
3.2.2 重删系统碎片化研究现状 |
3.3 研究动机 |
3.3.1 用户间数据集冗余度分析 |
3.3.2 用户自身快照间冗余度分析 |
3.3.3 哈希索引性能分析 |
3.4 基于用户信息的高效重删架构设计与实现 |
3.4.1 设计思路 |
3.4.2 数据路由算法描述 |
3.4.3 数据路由通信机制 |
3.4.4 基于文件谱的索引优化策略 |
3.4.5 系统架构 |
3.5 实验结果与分析 |
3.5.1 实验方案 |
3.5.2 集群重删率测试与分析 |
3.5.3 节点负载分布测试与分析 |
3.5.4 路由通信开销测试与分析 |
3.5.5 数据路由参数敏感度分析 |
3.5.6 存储节点数据索引性能测试与分析 |
3.6 本章小结 |
第四章 一种基于相似性的在线集群重删算法 |
4.1 研究背景 |
4.2 相关工作 |
4.2.1 相似性在单节点重删系统中的应用 |
4.2.2 相似性在集群重删系统中的应用 |
4.3 DS-Dedupe算法设计 |
4.3.1 第一步:基于一致性哈希的数据路由 |
4.3.2 第二步:基于一致性哈希的数据路由 |
4.3.3 DS-Dedupe系统架构 |
4.4 实验结果与分析 |
4.4.1 实验环境 |
4.4.2 集群重删率测试与分析 |
4.4.3 节点负载分布测试与分析 |
4.4.4 通信开销测试与分析 |
4.4.5 系统参数敏感度测试与分析 |
4.5 本章小结 |
第五章 结论与展望 |
5.1 工作总结 |
5.2 研究展望 |
致谢 |
参考文献 |
作者在学期间取得的学术成果 |
攻读博士学位期间参加的主要科研工作 |
(10)分布式数据处理若干关键技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 课题提出的背景及意义 |
1.2 研究目标与几个主要研究问题 |
1.3 课题的研究内容和创新点 |
1.4 论文的结构安排 |
1.5 本章小结 |
第二章 研究现状与相关技术 |
2.1 引言 |
2.2 分布式数据并行计算框架的研究现状 |
2.2.1 高性能计算机的发展 |
2.2.2 商业化的计算加速器正在不断扩展它的应用 |
2.2.3 "神威·太湖之光"并行计算机 |
2.2.4 现今流行的通用分布式数据并行计算框架 |
2.3 分布式数据并行计算框架软件构建技术相关研究 |
2.3.1 模型驱动工程技术与分布式数据并行计算框架软件构建 |
2.3.2 架构模型和自适应变化 |
2.4 面向大数据应用的键值对数据存储系统技术 |
2.4.1 非关系型NoSQL数据存储 |
2.4.2 基于RDMA的键值对数据存储管理 |
2.4.3 客户端—服务器端C/S模式 |
2.4.4 数据库理论 |
2.5 在分布式环境下的大数据服务 |
2.5.1 多领域数据分析与知识挖掘 |
2.5.2 分布式大数据服务 |
2.5.3 社会关键信息基础设施的数据处理 |
2.6 本章小结 |
第三章 SunwayMR:面向神威机器的分布式数据密集型并行计算框架 |
3.1 研究背景与研究动机:“神威·太湖之光”并行计算机的诞生 |
3.2 SunwayMR框架概述 |
3.3 SunwayMR系统架构详细设计 |
3.3.1 分布式内存数据管理机制 |
3.3.2 Pthread编程 |
3.3.3 任务、调度器、执行器和框架上下文 |
3.3.4 数据处理机制 |
3.3.5 粗细粒度并行 |
3.3.6 SunwayMRHelper消息通讯组件 |
3.3.7 神威体系结构众核(1 主核+64 从核)并行设计 |
3.4 系统优化机制设计 |
3.5 易用性 |
3.5.1 层级软件架构 |
3.5.2 学习案例:Pi值计算和PageRank算法编程示例 |
3.6 实验 |
3.6.1 实验设置 |
3.6.2 性能评估 |
3.6.3 系统优化评估 |
3.6.4 国家超算无锡中心国产众核平台系统运行测试 |
3.6.5 计算加速原因分析 |
3.6.6 SunwayMR特性 |
3.7 本章小结 |
第四章 自适应的分布式数据并行计算框架软件构建技术 |
4.1 引言 |
4.2 研究背景与研究动机 |
4.2.1 分布式数据并行计算框架软件构建的挑战 |
4.2.2 领域建模的复杂性与难度 |
4.3 自适应的软件构建 |
4.3.1 总体流程 |
4.3.2 步骤一:参考性的架构建模描述 |
4.3.3 步骤二:集成动态行为分析到架构模型 |
4.3.4 步骤三:架构建模自适应规约 |
4.4 学习案例:SunwayMR软件构建实践 |
4.4.1 解决的研究问题RQs |
4.4.2 RQ1:软件构建过程 |
4.4.3 RQ2:自适应讨论 |
4.4.4 RQ3:软件构建优化 |
4.4.5 RQ4:软件构建技术对比评估 |
4.4.6 RQ5:有效性分析 |
4.5 讨论 |
4.5.1 维护现今主流的分布式并行计算框架 |
4.5.2 评估正确性与有效性风险 |
4.6 本章小结 |
第五章 RHKV:基于RDMA和 HTM的 Key-Value键值对数据存储管理 |
5.1 引言 |
5.2 背景知识 |
5.3 RHKV概述 |
5.4 RHKV详细设计 |
5.4.1 RHKV架构设计 |
5.4.2 哈希表间无限kick-out循环问题分析 |
5.4.3 改进型G-Cuckoo哈希数据管理模式 |
5.4.4 RHKV的 RDMA网络通信引擎 |
5.4.5 与哈希表的信息交互 |
5.4.6 HTM感知的强原子性保障 |
5.4.7 寻求空闲位置并预测G-Cuckoo中数据条目的无限kick-out循环 |
5.4.8 一致性机制优化 |
5.4.9 数据访问执行协议 |
5.5 关键实现和软件接口 |
5.6 分布式C/S模式环境下的RHKV性能分析 |
5.6.1 实验设置 |
5.6.2 吞吐量提升和访问延迟减少情况 |
5.6.3 与其他基于RDMA的键值对数据存储系统的性能对比 |
5.6.4 负载偏差的抵抗力 |
5.6.5 空间扩大情况 |
5.6.6 数据一致性机制评估 |
5.7 RHKV数据密集型应用场景举例 |
5.8 本章小结 |
第六章 EDAWS:社会关键信息基础设施分布式环境数据管理及大数据服务解决方案 |
6.1 引言 |
6.2 研究动机:社会关键信息基础设施建设举例 |
6.3 分布式数据集成与融合系统 |
6.4 服务器端信息处理管理 |
6.4.1 原生信息获取与抽取 |
6.4.2 信息处理与索引库构建 |
6.4.3 分布式系统并行索引构建 |
6.4.4 用户感兴趣的大数据服务挖掘 |
6.4.5 在分布式环境下处理并发请求的原理 |
6.5 大数据服务信息交互 |
6.5.1 信息交互管理 |
6.5.2 并发请求处理与资源请求限制的理论分析 |
6.6 一些关键实现细节 |
6.7 真实场景案例学习:智慧社区信息系统建设 |
6.8 实验评估 |
6.8.1 原型系统示例 |
6.8.2 实验环境与设计 |
6.8.3 实验结果与分析 |
6.9 本章小结 |
第七章 结论与展望 |
7.1 研究工作总结 |
7.2 未来展望 |
参考文献 |
简历 |
致谢 |
攻读博士学位期间参加的科研项目 |
攻读博士学位期间学术论文等科研成果目录 |
四、一种基于多哈希表的堆式动态存储管理方法(论文参考文献)
- [1]面向电网拓扑管理的图数据库关键技术研究[D]. 吴新新. 南京邮电大学, 2020(03)
- [2]面向边缘计算的高效能非易失存储关键技术研究[D]. 刘珂. 山东大学, 2020
- [3]面向电网大数据的电力用户行为分析平台设计与实现[D]. 高明远. 北京邮电大学, 2020(05)
- [4]基于内容的图像安全检索技术研究[D]. 庞子卯. 电子科技大学, 2020(07)
- [5]C语言编译系统的研究与实现[D]. 高云云. 南京邮电大学, 2019(02)
- [6]基于可编程网卡的高性能数据中心系统[D]. 李博杰. 中国科学技术大学, 2019(08)
- [7]基于图的哈希方法的多媒体数据检索研究[D]. 刘洋. 大连理工大学, 2019(01)
- [8]基于云的无人机监控平台的设计与实现[D]. 陈驰. 国防科技大学, 2018(01)
- [9]面向备份系统的重复数据删除关键技术研究[D]. 孙振. 国防科技大学, 2018
- [10]分布式数据处理若干关键技术研究[D]. 吴仁克. 上海交通大学, 2018