一、并行分布计算中的任务调度及其分类(论文文献综述)
李雪靖[1](2021)在《智慧标识网络中边缘计算服务的任务卸载和资源适配研究》文中研究说明随着互联网技术的发展,网络服务和网络应用已渗透到各个领域。网络数据流量和计算任务的迅猛攀升,导致传统网络体系难以满足高效、可靠、海量、泛在等服务需求。智慧标识网络从解决传统互联网三重绑定问题出发,提出了“三层两域”的体系架构,为实现网络的可管、可控、开放、灵活提供了新的思路。针对智慧标识网络中的计算服务,边缘计算可以利用网络边缘计算资源为其提供更好的服务质量。然而,边缘网络的服务复杂性和资源有限性给不同场景下计算服务的动态灵活管控带来了新的挑战。本文分别针对边缘网络中的终端复杂计算服务、终端流式计算服务、多终端竞争计算服务和边缘汇聚计算服务,依据不同服务的需求特征,融合网络通信资源和计算资源,分析了具有特定优化目标的服务管控问题,研究了基于智慧标识网络的任务卸载和资源适配策略。本论文主要工作和创新点如下:(1)针对边缘网络中终端复杂计算服务的任务卸载和资源适配问题,提出了一种复杂服务分割和部分任务卸载的联合管控优化策略。本文以复杂计算服务的处理开销最小化为优化目标,通过综合考虑服务模型特征、任务依赖关系、节点设备能力和无线信道状况等因素,提出了基于智慧标识网络和边缘计算的终端复杂计算服务系统架构和管控机制,构建了服务模型分割和部分任务卸载的联合优化模型;基于深度学习方法构建了针对视频流进行人体姿态估计的服务计算模型,通过分析所构建模型的计算负载和数据流,采用神经层分组和流水线处理方法,设计了基于阈值粒子群优化的协同分割卸载TP-CPO算法,并通过仿真实验进行了性能评估。仿真结果表明,在不同的信道带宽和服务器负载下,所提策略有效地降低了服务响应时间和终端能量消耗。(2)针对边缘网络中终端流式计算服务的任务卸载和资源适配问题,提出了一种任务卸载调度和终端功率控制的联合管控优化策略。本文以流式计算服务的任务处理效用最大化为优化目标,通过综合考虑到达任务特征、终端能量状态、无线信道状况和计算服务器负载等因素,提出了基于智慧标识网络和边缘计算的终端流式计算服务系统架构和管控机制,构建了任务卸载调度和终端功率控制的联合优化模型;根据终端等待计算任务的马尔可夫性,分析了卸载调度决策和功率控制决策的约束条件,设计了状态、动作和奖惩函数,将系统时间分层划分为决策周期和事件回合,实现了基于分层深度强化学习的自适应调度控制HDRL-ASC算法,并通过仿真实验进行了算法参数调优和性能评估。仿真结果表明,在不同的任务到达率、无线信道状况和服务器计算性能下,所提策略有效地提高了任务处理效率,降低了终端功率消耗。(3)针对边缘网络中多终端竞争计算服务的任务卸载和资源适配问题,提出了一种终端卸载选择和通信资源编排的联合管控优化策略。本文以多终端竞争计算服务的综合计算效用最大化为优化目标,通过综合考虑终端接入数目、终端设备状态、终端需求优先级、无线信道状况和计算服务器负载等因素,提出了基于智慧标识网络和边缘计算的多终端竞争计算服务系统架构和管控机制,构建了终端卸载选择和通信资源编排的联合优化模型;提出了融合多种方法的算法框架,包括利用神经网络和阈值判断方法估计多终端任务卸载的优先级,利用一维优化搜索方法编排无线通信的资源块,利用经验回放和梯度下降方法构建神经网络模型的更新机制,利用分布式采样训练方法实现高效的神经网络训练模型,设计了基于纵向联邦学习的灵活卸载编排VFL-FOO算法,并通过仿真实验进行了算法参数调优和性能评估。仿真结果表明,算法具有较好的收敛性和较低的复杂度,在不同终端数目和动态环境状况下,所提策略有效地提高了多终端综合计算能力。(4)针对边缘网络中边缘汇聚计算服务的任务卸载和资源适配问题,提出了一种流量鲁棒分类和资源感知转发的联合管控优化策略。本文以边缘汇聚计算服务的综合处理开销最小化为优化目标,通过综合考虑单位时间请求交易量、服务数据量到达速度、单位比特计算负载、服务流量类型、服务器计算资源和传输路径通信资源等因素,提出了基于智慧标识网络和边缘计算的边缘汇聚计算服务系统架构和管控架构,构建了流量鲁棒分类和资源感知转发的联合优化模型;设计了包含异常需求检测、流量特征分类和任务卸载转发的算法框架,实现了基于遗传进化算法的快速分类转发GE-RCF算法,并通过仿真实验进行了参数调优和性能评估。仿真结果表明,在流量动态变化、不同边缘服务器性能和不同传输路径带宽下,所提策略有效地提升了流量分类效率,降低了多流量综合处理开销。
郑欣[2](2021)在《基于图卷积网络的片上系统软硬件协同设计研究》文中认为随着嵌入式系统的规模越来越大,片上系统(SoC)的设计复杂度也越来越高。自20世纪80年代以来,软硬件协同设计已经发展成为一种新的SoC设计方法学,经过几代的发展,SoC设计逐步向全自动化流程方向发展。软硬件划分是软硬件协同设计中的关键步骤,它可以显着缩短SoC设计的时间,提高嵌入式系统的性能。但对于大规模系统来说,大多数相关研究提出的软硬件划分方案具有搜索时间长、划分结果质量不高等问题。在信息安全领域,数字签名SoC系统在保障用户数据安全方面起着重要的作用,数字签名系统软硬件划分的实现仍依赖于工程师的经验,且硬件设计完成后才开始软件设计,这将使得系统开发周期变长,设计效率低。现有的SoC软硬件协同设计没有形成完备统一的验证流程,使得验证过程繁琐,验证效率低。针对以上问题,本文首先研究了基于迁移学习和字典学习的任务分类问题,从图分类的角度作为切入点,再扩展到结点分类,最后到软硬件划分问题的研究,设计了两种不同的分类模型。其次,根据设计需求搭建SoC系统架构,并提出了一种基于图卷积网络的高效软硬件划分和调度方法—GCPS,在满足系统硬件约束的前提下,最大化资源利用率,寻找最优的软硬件划分方案,并进行系统的快速软硬件划分。在此基础上,基于任务静态优先级设计任务调度算法完成系统的调度并回馈给划分模型,进一步提高系统的效率和并行性。最终将GCPS模型应用于数字签名系统中,实现数字签名系统的SoC软硬件协同设计和验证。本文的创新点和主要研究工作包括以下几个方面:(1)针对传统机器学习方法在大规模系统中分类效率低的问题,本文首先研究了基于迁移学习的任务分类问题,并设计基于迁移学习和字典学习的DMTTL模型,通过迁移学习和并行执行的特性,提升了系统的分类性能和运行效率。另一方面,进一步对具有图结构数据的任务进行分类,设计了一种基于多视角字典学习的图模型,其分类效果优于大部分最新的图分类模型。通过引入多视角,GMADL模型扩展性强,可以将GMADL模型应用于结点分类问题,故本文对GMADL模型进行了改进,提出了 NMADL结点分类模型,并进行了验证与分析,研究该模型在软硬件划分问题上的可行性,同时为后续工作提供了必要的理论和实验支撑。(2)针对大规模系统设计复杂度高,软硬件划分速度慢等问题,本文基于图卷积网络(GCN),设计了一种适用于大规模系统的快速软硬件划分方法——GCPS。GCN可以有效地处理图结构数据,并聚合邻居结点的特征来生成新的结点表示。该算法能够快速收敛,有效地实现结点分类。本文研究的划分问题可以描述为在硬件面积约束下最小化所有任务的执行时间的优化问题。可以利用GCN和梯度下降的方法来求解该优化问题,实现高效的系统软硬件划分,尤其针对于大规模系统而言,该方法与传统启发式算法相比效率更高。(3)为了进一步提高软硬件划分的性能和通过并行化减少系统的执行时间,在实现软硬件划分后对系统进行任务调度,设计任务调度算法。通过计算每个结点的静态优先级,设计基于静态优先级的表调度算法实现任务调度和量化软硬件划分的质量,进一步缩短执行时间。从而在满足系统约束条件下最小化任务调度时间和最大化硬件资源利用率,对系统任务图实现最优的调度。(4)为了进一步增强数字签名系统的安全性,本文针对ECDSA算法进行改进,在明文的预处理阶段设计防护手段,实现了高安全的数字签名片上系统的软硬件协同设计。在完成系统任务图的构建、系统软硬件划分和调度后,针对数字签名系统应用,本文采用了 SoC软硬件协同设计技术。首先,将GCPS模型应用于数字签名系统的软硬件划分过程。其次,实现系统的软件设计、硬件设计和接口设计,并通过软硬件协同设计方法进行软硬件综合,采用C/C++和Verilog编程语言实现ECDSA数字签名验签。(5)针对SoC软硬件协同验证效率低、流程不统一等问题,构建协同仿真验证平台,通过设计PLI/VPI共享接口实现测试向量和输入数据的共享,并且由高级语言模型随机产生测试向量,提高系统验证效率。研究完备统一的SoC软硬件协同验证流程,对系统设计的验证可以达到实时比特级验证,并实时反馈软硬件协同设计过程中存在的问题,一体化的验证平台提高了系统的验证效率。
王翰林[3](2020)在《多粒度遥感大数据计算方法研究 ——以荒漠化信息提取为例》文中研究指明随着遥感成像方式多样化以及数据获取能力不断增强,遥感数据已经呈现出多源化和海量化的特征,遥感传感器的空间分辨率、光谱分辨率、时间分辨率也在不断提升,遥感大数据时代已经到来。遥感大数据使得长时间、大空间、高精度的对地观测研究成为可能,也对传统遥感数据处理方法提出新挑战。海量遥感数据处理往往需要耗费大量时间和人力物力,传统数据处理方法已经无法满足遥感大数据的分析应用需求。在一般应用场景下,遥感影像处理涉及到多个步骤,如常见的数据预处理、地图代数计算和机器学习分类等,这些算法特点不同,计算方式各异,导致在遥感大数据时代所面临的问题差别很大。因此,在遥感大数据实际应用过程中,需要充分考虑不同计算步骤下的算法特征,根据不同类型算法所面临的效率问题,提出综合性遥感大数据计算方法,解决实际应用中所面临的问题。本文以荒漠化信息提取作为遥感大数据典型应用场景,分析影像预处理、地图代数计算和机器学习分类三个步骤所面临的大数据计算问题,提出影像、瓦片、像元三种粒度的分布式计算方法,提高遥感影像分布式计算效率,在充分考虑遥感影像数据空间特征和深入分析大数据相关研究的基础上,对不同限制条件下改善大数据计算效率的方法开展研究,具体研究内容和结论如下:(1)在遥感影像的预处理阶段,针对历史遥感算法难以支持主流大数据计算框架,重新开发实现并行化困难、移植性差、无法满足海量遥感数据快速处理等问题,本文提出使用Docker容器技术封装和运行遥感算法镜像,根据遥感算法特征设定镜像管理与分发策略,基于Kubernetes集群容器管理引擎将封装后的算法程序分布式部署和运行,实现以影像为最小计算粒度的分布式处理,提高历史遥感算法程序的计算效率。在实验部分,封装了大气校正程序,在不同计算节点数量和集群并行度条件下开展实验,研究表明扩展节点能够极大提高计算集群计算效率,选择合适程序运行并行度,也能够有效提高分布式计算效率。(2)对于地图代数计算而言,数据本地化率是影响分布式计算效率的主要因素之一,因此对其存储优化能够有效提高计算效率。为了解决遥感影像分布式存储时未充分考虑其空间特征,从而引发临近数据被切分存储在不同节点,导致涉及临近信息计算时数据本地化率低问题。本文在研究分析不同数据切分方法以及空间索引技术的基础上,提出一种瓦片数据分配策略,充分考虑遥感数据空间、维度以及集群资源特征,确保空间临近瓦片存储到物理位置相近的节点,降低计算时的数据迁移成本,同时完善数据冗余存储策略,提高涉及临近信息分布式计算的算法效率。在实验中,比较不同节点数量和数据量下优化数据分配后的效率提升,结果表明节点数量和数据量越多,优化数据分配后的临近计算效率会越高,证实优化数据存储在分布式计算中对计算效率提升所起的重要作用。(3)针对分布式遥感影像机器学习算法实现复杂和各种机器学习模型组合应用困难的问题,本文基于Spark框架实现以像元为最小粒度的分布式计算,通过适应Spark MLlib算法库的数据组织要求,最终实现了对于整个分布式机器学习算法库的支持,进而提供了同一平台下多机器学习模型组合应用的能力。通过实验比较了不同节点和不同数据量下的分布式计算效率,结果表明在有限集群资源环境下,数据量增加会导致计算时间猛增,通过增强硬件条件能够有效提高计算效率,降低数据量对于计算耗时的影响。(4)将本文提出的遥感大数据计算方法应用到荒漠化信息提取具体实践中,实现了大数据技术支撑下的荒漠化信息快速提取,最终完成了蒙古国西北部区域的荒漠化信息提取。
孙露露[4](2020)在《移动云复杂网络环境下的任务调度模型与算法》文中指出借助移动云计算技术,移动设备上的复杂应用可划分为多个部分并分配至自身和多个服务端设备运行,以解决移动设备资源不足的问题。任务调度作为移动云计算中一个关键过程,其最终目标是减少移动应用的执行时间和能耗,进而保证移动云计算的服务质量。本文围绕移动云复杂网络环境中的任务调度问题展开研究。本文针对移动云复杂网络环境的特点,综合考虑移动云复杂网络环境带来的约束,构建了任务调度的数学模型。使用基于有向无环图的工作流模型表示移动应用中任务之间的依赖关系,使用无向图模型表示移动云复杂的网络环境,建立了有限能耗约束下的以最小化完工时间为目标的任务调度优化模型。分析所构建的移动云复杂网络环境下任务调度模型,由于设备的能耗、工作流中的任务之间的依赖性和网络连通性等约束,在此调度问题的解空间中存在大量不可行解,导致传统的启发式算法的搜索效率低下。因此,本文提出了一种基于改进贪婪搜索策略的启发式调度算法,能够在解空间中快速找到一个较高质量的可行解。首先将复杂网络中的任务节点进行分类,然后对每一类型的节点设计相应的搜索策略。当处理一个给定任务时,该算法总能搜索到具有足够能量且与该任务的前序任务所分配设备连通的设备。因此,该算法能够在满足能耗约束和连通性约束的前提下快速得到一个较高质量的可行解。通过分析上述算法的特点,进一步提出了一种双层启发式调度优化算法,基于网间优化策略和网内优化策略,通过启发式搜索对生成的可行解再次进行优化。该算法以基于改进贪婪搜索策略的启发式调度算法得到的可行解作为初始解,通过在交织网间和交织网内进行双层改进,从而进一步提高解的质量。本文设计了完备的仿真实验,对所提出的基于改进贪婪搜索策略的启发式调度算法和基于网间和网内的双层启发式调度优化算法进行验证。实验结果表明,本文所提出的两种调度算法能够在复杂交织网络约束下快速生成可行的调度解,同时可以有效地降低应用的完工时间。因此,本文提出的方法,能够有效应对移动云复杂网络环境下的任务调度问题,有助于提高移动云计算中移动设备的服务质量。
孙德洋[5](2019)在《云环境下多级密码服务调度方法的研究》文中认为云计算已经成为分布式计算的最新发展方向,作为新兴的计算模式,具有方便快捷、可靠性高和可按需服务等特点,但是云环境下作业请求种类多样、海量高并发等问题的出现,给密码服务带来巨大挑战。面对复杂的云计算环境,传统的调度方法和现有的密码服务调度方法在解决上述问题方面的不足日益突显,并且云环境下用户种类和计算节点的处理能力等属性各不相同,合理有效的调度方法才是解决云环境下作业请求有效处理、提供高质量服务的关键。为使系统能够对外提供高质量的密码服务,本文从用户和系统的角度出发,构建了多级调度模型,提出了综合用户属性、任务属性和节点属性的调度方法。本文的主要工作和创新点如下:(1)分析云环境下用户和系统调度的需求,构建了多级调度模型。从调度的安全性、准确性和系统的整体性能考虑,基于云环境下节点性能异构等实际场景构建多级调度模型,通过集成加密、解密和Hash等多种不同算法的密码计算单元,达到对不同作业请求并行处理的目的;通过多级调度处理,根据不同用户属性的不同作业请求完成与计算节点的映射,进而完成对作业请求的处理。(2)基于构建的模型,提出了综合用户属性、任务属性和节点属性的调度方法。从用户对作业请求处理的安全性要求考虑,通过对用户属性进行分析,提出基于用户属性的调度方法,建立与对应等级队列之间的映射;通过对作业请求中的任务属性进行分析,根据不同的任务属性进行分类处理,建立与具体算法缓冲区的映射,简化后续调度的复杂度;综合考虑云环境下计算节点资源种类多样、性能异构等节点属性,从系统完成时间均衡性的角度出发,采取为计算节点选择作业的方式,通过权衡各计算节点完成时间的差值选择合适的作业请求,实现作业请求与具体计算节点之间的匹配,进而实现作业请求的可靠性处理。最后,基于本文提出的模型在Windows下用C/C++仿真验证,从不同角度对本文提出调度方法的负载均衡性进行分析,并选取其他算法在最大完成时间上进行对比验证。实验结果表明,本文提出的调度策略和方法能更灵活的进行作业请求与节点的匹配处理,更能适用于需求多样的云计算环境。
袁佳欣[6](2018)在《云计算平台任务调度算法研究》文中提出近年来,随着信息技术与互联网在全球各个领域的飞速发展与广泛应用,用户个人和企业对计算、存储和各类软件服务的需求越来越高。云计算是一种按需服务的新型商业模式,能通过互联网方便快捷的访问云端各类资源。在云计算中,任务调度是核心问题。如何将用户提交的任务合理分配到云计算数据中心,不仅关系到用户使用体验和服务质量,而且对云服务提供商的服务提供能力、服务器集群负载均衡、运营成本控制都有着至关重要的影响。本文分别对云计算平台中的独立任务调度算法和关联任务调度算法进行了研究,在现有基础上进行了优化改进。本文主要工作如下:首先,介绍了云计算的技术背景和基础知识,并分析了云计算平台中的关键技术。针对云计算中的任务调度算法研究现状从研究目的和研究方法方面进行详细对比,分析了各种算法的优势与不足。然后,针对独立任务调度,从提升服务质量角度进行研究,提出了一种基于时间感知的独立任务回填调度算法。该算法克服了传统回填调度算法中对任务进行回填作业时指标单一所造成的虚拟机饥饿,结合任务预计完成时间和申请处理器核数这两个参数进行分析考量,对任务进行回填,在任务提交时采用时间感知的负载均衡策略,最终提升任务最大完成时间、减小任务队列等待时延,并实现负载均衡。最后,针对关联任务调度,基于复杂度较低、综合性能较好的表调度算法进行研究。对HEFT和CPOP算法在计算任务排序权重阶段针对云计算异构环境考虑不足造成的计算开销和通信开销偏差较大问题进行改进,利用标准差作为计算开销系数来反应异构计算差异,利用关联任务中任务的出入度比作为通信开销的异构因子来提升出入度比较大的任务优先级,减小后继任务通信开销,增加任务的并行执行度。在虚拟机选择阶段针对关键路径上的关键任务使用最快完成时间和其直接后继节点的计算与通信开销进行叠加来选取最佳虚拟机从而优化任务分配。最终提升了关联任务的调度长度比和并行执行度,并在异构参数较大时保证良好性能。
刘梦泽[7](2018)在《面向MapReduce异构集群的低功耗调度技术研究》文中提出近年来,随着互联网技术的提升,用户数量迅猛增长,数据量急剧膨胀。快速处理及高效分析这些数据,成为一项非常迫切的任务。MapReduce异构集群已经成为被广泛使用的数据高效的处理平台工具之一。然而由于任务在集群的不合理分配,处理数据会消耗巨大的电量。本文致力于研究MapReduce异构集群低功耗调度问题,并做了以下工作:作为必要的基础知识,首先我们介绍了对于MapReduce的研究现状。而后阐述了分布式系统的计算模型。此外我们着重介绍了MapReduce的计算模型和实验必要的Hadoop的组件作用和执行流程。根据异构集群差异化执行的实际情况,在一定时间限制的前提下,为满足执行能耗和最低,我们根据MapReduce计算模型,对异构节点中不同节点分配多少任务建立模型调度建立模型。对于该组合优化问题,我们使用CPLEX12.4工具进行求解。基于求解的结果,我们在CloudSim3.0模拟分布式处理框架上对调度结果进行性能评价。在仿真实验过程中,以TeraSort和K-means聚类作为评价标准,本文调度策略同FIFO(First In First Out)策略和SLO(Service Level Objective)调度策略作对比,发现执行能耗分别平均降低了19%和13.5%。实验结果揭示了执行时间和执行能耗间的关系。
李思照[8](2018)在《片上多核系统软件特性及系统可靠性分析研究》文中进行了进一步梳理随着片上多核系统在移动终端上的广泛应用及其系统任务不断增加,可重构片上网络及其多核系统的性能效率与可靠性已成为制约其在移动计算和相关应用推广的重要因素。为了确保整个系统安全稳定地运行,就需要在软件运行效率、系统可靠性及任务调度管理等方面进行相关理论分析与技术实践研究。本文首先针对指令集的特点,描述了片上多核系统软件运行的行为特性,并建立了不同类型的软件执行模型,以优化系统对指令的预取效率,从而提高Cache命中率。然后,为了保证Cache命中率,建立Cache一致性协议的故障模型,分析协议中所存在的可靠性问题,并以此故障模型作为基础来描述HCS片上网络结构的整体稳定性,为片上多核系统的设计提供了可靠性分析方法。最后,为了保证整体系统的稳定及有效的运行,以竞态条件作为分析手段来描述系统任务运行时所存在的不确定性,并利用最大熵方法提出一种新的任务调度优化算法。本论文的主要工作内容和创新点如下:(1)针对现有的软件程序在片上多核系统中运行效率较低的问题,首先以精简指令集为基础引入马尔科夫状态机模型来描述指令的执行过程,然后结合进程代数及符号逻辑方法对软件行为进行分析,建立软件行为特性模型,同时利用随机抽样优化算法对该模型进行特征提取,从而降低计算量并以此来提高Cache命中率。(2)针对Cache 一致性协议在片上网络系统中由于其协议中状态转换而引发的可靠性问题,以故障树模型作为基础对一致性协议进行故障分析,同时利用基于OBDD的k-端模型建立HCS片上网络结构的系统可靠性模型,从而分析了现有协议存在的可靠性问题并验证了 HCS片上网络结构的优势所在。(3)针对多核系统中任务调度存在竞争关系从而导致系统运行结果不正确的问题,以竞态条件作为基础研究任务并行运行时的不确定性,同时利用最大熵理论对任务进行优化来消除此种具有不确定性的竞态关系,最后通过实验验证此任务调度算法在系统执行时间、CPU利用率、吞吐量等方面具有较大优势。最后,基于本文所提出的技术与方法,开发一套片上多核系统如硬件协同设计验证平台,通过此平台可以为今后片上多核系统的整体系统设计提供解决方案。
何丽波[9](2018)在《面向大规模服务集群调度冲突检测和控制算法的研究》文中认为共享状态调度是一种服务集群资源管理和调度的架构,它将资源管理和任务调度功能进行了解耦并采用了多调度代理对集群中的任务进行调度。它解决了传统的集中式调度存在的扩展局限的问题,在大规模服务集群中得到了很好的应用。然而,共享状态调度存在冲突检测算法单一和灵活性差以及高负载时调度冲突导致调度性能恶化问题。因此,本文对共享状态调度进行了深入地研究,并针对它存在的这些问题提出相应的解决方法。论文工作分别从大规模服务集群的调度架构、共享状态调度下的冲突检测算法和调度相关算法三个方面展开,主要内容如下:1、提出了一种基于并行验证机制的共享状态调度:PVBSSS(Parallel Validationbased Shared-state Scheduler)架构。该调度架构首先采用了多个调度代理通过共享的集群资源使用状态信息并发地进行调度决策工作,然后通过冲突检测算法解决这些并发生成的调度决策之间冲突问题。对不同类型工作负载的调度决策,PVBSSS支持采用不同的冲突检测算法处理冲突。因此结合服务集群中常见的批处理型工作和服务型工作的调度需求,分别提出了对应的冲突检测算法:并行的粗粒度冲突检测算法和并行的细粒度冲突检测算法。通过在OCSS(Omega Cluster Scheduler Simulator)平台进行的上万台服务集群中一天内近百万工作的调度测试显示,PVBSSS能够灵活和高效地完成大规模工作负载的调度,并且它的两种冲突检测算法相较已有的细粒度冲突检测算法更能有效检测出潜在的有害冲突,同时受调度决策时间影响相对较小,因此更能适应多种调度策略并存的应用环境。2、提出了一种多属性融合冲突检测算法。对批处理型任务,该方法首先建立了其多属性模型,然后根据证据融合规则将多个属性的属性值融合为一个表征工作重要程度的属性值,最后在冲突检测时优先通过该属性值大的任务调度决策,从而通过控制冲突决策来完成对批处理类型工作调度的整体优化。此外,算法还采用了主观赋值和证据加权平均合成两种方法对融合权重进行设置。实验结果表明,该算法能够达到优化批处理型工作调度性能的目的。3、提出了进行冲突预防和控制的算法:具有冲突预防功能的批抽样调度算法,基于机会成本的冲突预防批抽样调度算法和基于随机早检测(RED:Random Early Detection)机制的准入控制算法。具有冲突预防功能的批抽样调度算法在调度时除了考虑资源需求和任务约束外,在为任务选择机器时主要考虑了机器上调度决策的并发情况,通过选择并发调度决策较少的机器来达到冲突预防的目的,该算法的理论和实验分析显示它能够显着地减少冲突。基于机会成本的冲突预防批抽样调度算法在为任务选择机器时同时考虑了机器边际成本和冲突等多种因素,该算法的实验分析显示了它能同时兼顾负载均衡、减少搁浅资源和冲突预防等目标,更适合复杂的调度环境。作为本文提出的最后一个算法,基于随机早检测机制的准入控制算法主要通过服务集群中实时冲突情况对工作的准入进行控制,避免冲突频繁时准入过多工作带来的调度性能恶化问题,该算法的实验分析显示它能在集群高负载时有效地对冲突进行控制。
黄风华[10](2014)在《云环境下基于并行支持向量机的高光谱影像分类研究》文中研究指明高光谱遥感影像具有波段多、数据量大、数据不确定性和监督分类时易受Hughes现象影响等特点,由此对现有的图像信息分析处理技术提出了更高的要求。支持向量机(SVM)是一种基于统计学习理论且已被众多实验所证实的有效学习机制,能较好地解决小样本、非线性、高维数等问题,并已被成功地应用于高光谱分类领域;但对于大规模高光谱影像的分类问题,SVM传统算法(串行)的训练和预测效率低下,而单机和传统分布式环境也难以提供处理海量数据所需的强大并行运算能力和足够的内存空间。有鉴于此,本文引入并行支持向量机(PSVM)和云计算技术,设计出一种基于云计算的并行支持向量机(Cloud-PSVM)分类模型,提出云环境下Cloud-PSVM的增量学习算法和参数的全局优化策略,并将Cloud-PSVM应用于土地利用分类领域,构建基于Hadoop平台的高光谱影像分类云服务。整个研究从计算模式、分类方法和服务模式这三方面入手,旨在保证分类精度的前提下提高高光谱影像分类的效率,推动大规模高光谱影像地物信息提取与机器解译的规模化和智能化。主要研究内容与成果如下:(1)为有效地提高Hyperion高光谱影像的空间分辨率,设计出一种改进型的Gram-Schmidt高光谱影像融合方法,实现了Hyperion高光谱影像与同一遥感平台及同一时相的ALI高空间分辨率影像的高效融合;提出一种基于光谱-地形,以及纹理特征的组合径向基核函数(MRBF),并构建出一种基于MRBF的二叉决策树多类SMO (BDT-SMO)分类器,可有效地提高高光谱融合影像的分类精度。(2)构建Hadoop云储存平台,采用Hadoop分布式文件系统(HDFS)和Hbase数据库实现大规模高光谱融合影像数据和样本数据的分布式存储,通过合理选择分割策略、存取机制和数据组织形式,可有效地提高大规模融合影像和样本数据的存取效率。(3)为有效地提高大规模训练样本的并行学习效率,提出一种基于交叉样本的改进型混合并行支持向量机(YBJCF-PSVM)模型,并与GPU技术相结合,以提高单节点的并行学习能力。此外,设计出一种基于MapReduce和YBJCF-PSVM模式的Cloud-PSVM分类器。(4)将Cloud-PSVM应用于土地利用分类领域。采用MapReduce模式对实验区高光谱融合影像进行并行特征提取,并通过Cloud-PSVM分类器对大规模样本进行并行训练与预测。实验结果表明,Cloud-PSVM分类器能在保证分类精度的前提下较大程度地提高高光谱融合影像的分类效率。此外,为能有效地提高土地利用分类结果的发布效率,还设计并实现了一种基于Hadoop的高光谱融合影像分类的云服务。(5)在云计算环境下设计出一种基于MapReduce和壳向量的SVM增量学习算法(MapReduce-HASVM),可有效地提高Cloud-PSVM分类器的泛化能力和扩展性。此外,还提出一种基于云计算和并行遗传算法(PGA)的Cloud-PSVM参数分布式全局优化策略,可有效地提高Cloud-PSVM分类器的分类精度和核参数的优化效率。
二、并行分布计算中的任务调度及其分类(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、并行分布计算中的任务调度及其分类(论文提纲范文)
(1)智慧标识网络中边缘计算服务的任务卸载和资源适配研究(论文提纲范文)
致谢 |
摘要 |
ABSTRACT |
主要缩略语对照表 |
第一章 绪论 |
1.1 研究背景 |
1.2 新型网络技术及智慧标识网络研究现状 |
1.2.1 新型网络相关关键技术 |
1.2.2 智慧标识网络理论及其相关研究 |
1.3 边缘计算及其服务管控问题的相关研究 |
1.3.1 边缘计算技术概述 |
1.3.2 边缘计算中服务管控问题的相关研究 |
1.3.3 机器学习在边缘计算中的应用研究 |
1.4 研究内容和主要创新 |
1.5 论文组织结构 |
第二章 复杂计算服务的服务分割和任务卸载研究 |
2.1 引言 |
2.2 复杂服务分割和部分任务卸载的优化问题 |
2.2.1 系统架构 |
2.2.2 服务管控机制 |
2.2.3 问题建模和优化 |
2.3 复杂计算服务模型和协同分割卸载算法 |
2.3.1 基于DL方法的模型分析 |
2.3.2 终端复杂计算服务的模型构建 |
2.3.3 服务模型的数据流和计算负载分析 |
2.3.4 TP-CPO算法设计 |
2.4 仿真实验和结果分析 |
2.4.1 复杂计算服务仿真环境的建立 |
2.4.2 TP-CPO策略的性能评估 |
2.4.3 TP-CPO策略的扩展性分析 |
2.5 本章小结 |
第三章 流式计算服务的任务调度和功率控制研究 |
3.1 引言 |
3.2 任务卸载调度和终端功率控制的优化问题 |
3.2.1 系统架构和管控机制 |
3.2.2 问题建模和优化 |
3.3 基于分层深度强化学习的自适应调度控制算法 |
3.3.1 深度强化学习方法简介 |
3.3.2 状态、动作及奖励函数设计 |
3.3.3 HDRL-ASC算法设计 |
3.4 仿真实验和结果分析 |
3.4.1 实验参数和环境变量的设置 |
3.4.2 HDRL-ASC算法性能分析 |
3.4.3 HDRL-ASC策略性能评估分析 |
3.5 本章小结 |
第四章 多终端竞争计算服务的卸载选择和资源编排研究 |
4.1 引言 |
4.2 终端卸载选择和通信资源编排的优化问题 |
4.2.1 系统架构和管控机制 |
4.2.2 问题建模和优化 |
4.3 基于纵向联邦学习的灵活选择编排算法 |
4.3.1 L-FOO算法框架设计 |
4.3.2 VFL-FOO算法设计 |
4.4 仿真实验和结果分析 |
4.4.1 实验参数设置 |
4.4.2 VFL-FOO算法参数调优 |
4.4.3 VFL-FOO算法收敛性分析 |
4.4.4 VFL-FOO算法复杂度评估 |
4.4.5 VFL-FOO策略的综合计算效用评估 |
4.5 本章小结 |
第五章 边缘汇聚计算服务的流量分类和资源适配研究 |
5.1 引言 |
5.2 流量鲁棒分类和资源感知转发的优化问题 |
5.2.1 系统架构和管控架构 |
5.2.2 问题建模和优化 |
5.3 基于遗传进化算法的快速分类转发算法 |
5.3.1 RCF算法框架设计 |
5.3.2 GE-RCF快速分类转发算法 |
5.4 仿真实验和结果分析 |
5.4.1 仿真实验参数设置 |
5.4.2 GE-RCF策略评估 |
5.5 本章小结 |
第六章 总结与展望 |
6.1 论文总结 |
6.2 未来研究工作展望 |
参考文献 |
作者简历及攻读博士学位期间取得的研究成果 |
学位论文数据集 |
(2)基于图卷积网络的片上系统软硬件协同设计研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外相关研究现状 |
1.2.1 SoC软硬件协同设计 |
1.2.2 图卷积网络 |
1.2.3 数字签名密码算法 |
1.3 研究内容与技术路线 |
1.3.1 研究内容 |
1.3.2 技术路线 |
1.4 章节安排 |
1.5 研究创新点 |
第二章 SoC软硬件协同设计和图神经网络 |
2.1 片上系统的组成与设计方法学 |
2.1.1 SoC集成模型 |
2.1.2 SoC设计方法学 |
2.2 软硬件协同设计流程 |
2.3 软硬件划分技术研究 |
2.3.1 问题描述及优化目标 |
2.3.2 基于精确算法的软硬件划分技术 |
2.3.3 基于启发式算法的软硬件划分技术 |
2.4 图神经网络架构研究 |
2.4.1 图卷积网络模型 |
2.4.2 GraphSage网络模型 |
2.4.3 图注意力网络模型 |
2.4.4 图神经网络模型对比及分析 |
2.5 本章小结 |
第三章 基于迁移学习和字典学习的任务分类研究 |
3.1 迁移学习与字典学习 |
3.1.1 迁移学习 |
3.1.2 字典学习 |
3.2 基于多任务迁移学习的字典学习模型 |
3.2.1 DMTTL模型描述与设计 |
3.2.2 DMTTL模型优化 |
3.2.3 多线程并行优化学习低维表示 |
3.3 实验结果及分析 |
3.3.1 数据集与对比方法 |
3.3.2 评估指标与参数设定 |
3.3.3 实验结果分析 |
3.4 特征提取与分析字典 |
3.4.1 子图特征提取 |
3.4.2 多视角分析字典 |
3.5 多视角字典学习的分类模型 |
3.5.1 基于PCA和LDA的图数据预处理 |
3.5.2 基于分析字典的特征提取 |
3.5.3 多视角SVM图分类模型构建与优化 |
3.5.4 软硬件划分结点分类模型构建 |
3.6 实验结果及分析 |
3.6.1 数据集与对比方法 |
3.6.2 评估指标与参数设定 |
3.6.3 实验结果与分析 |
3.7 本章小结 |
第四章 基于图卷积网络的软硬件划分模型研究 |
4.1 基于TGFF构建系统任务图 |
4.1.1 系统任务图的存储与表示 |
4.1.2 具有物理意义的任务图属性设定 |
4.1.3 基于TGFF的系统任务图生成 |
4.2 GCN软硬件划分模型设计 |
4.2.1 数据预处理与输入层设计 |
4.2.2 图卷积层设计 |
4.2.3 输出层设计 |
4.3 LSSP任务调度算法设计 |
4.3.1 静态优先级计算 |
4.3.2 任务分配规则设计 |
4.4 GCPS软硬件划分、调度模型设计与优化 |
4.4.1 GCPS模型优化与改进策略 |
4.4.2 预训练及GCPS算法实现 |
4.4.3 GCPS算法应用 |
4.5 实验结果及分析 |
4.5.1 实验平台及设定 |
4.5.2 实验评估指标 |
4.5.3 实验结果与分析 |
4.6 本章小结 |
第五章 数字签名系统的软硬件协同设计研究 |
5.1 基于椭圆曲线的数字签名算法 |
5.1.1 ECC密码算法 |
5.1.2 ECDSA数字签名算法 |
5.2 ECDSA任务模型与系统框架构建分析 |
5.2.1 软硬件划分粒度选择 |
5.2.2 目标体系架构与任务模型设定 |
5.2.3 确定SoC系统架构 |
5.3 数字签名系统的软硬件划分 |
5.3.1 数字签名系统的任务图构建 |
5.3.2 ECDSA软硬件划分与调度 |
5.4 ECDSA SoC软硬件协同设计 |
5.4.1 ECDSA软件设计与优化 |
5.4.2 ECDSA核心硬件设计与优化 |
5.4.3 AHB-Lite总线接口设计 |
5.5 数字签名系统的软硬件协同验证 |
5.5.1 协同仿真验证流程设计 |
5.5.2 仿真工具与数字签名系统协同验证 |
5.6 实验结果及分析 |
5.6.1 实验平台及设定 |
5.6.2 实验评估指标 |
5.6.3 实验结果与分析 |
5.7 本章小结 |
结论与展望 |
参考文献 |
攻读学位期间取得与学位论文相关的成果 |
致谢 |
(3)多粒度遥感大数据计算方法研究 ——以荒漠化信息提取为例(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究目的与意义 |
1.2 国内外研究现状 |
1.2.1 容器技术在遥感领域的应用现状 |
1.2.2 遥感数据的分布式存储研究现状 |
1.2.3 遥感影像分布式机器学习方法研究现状 |
1.3 主要研究内容 |
1.4 论文组织结构 |
第二章 遥感大数据计算关键技术 |
2.1 大数据相关技术 |
2.1.1 HDFS分布式文件系统 |
2.1.2 Spark大数据计算引擎 |
2.2 云计算相关技术 |
2.2.1 云计算服务 |
2.2.2 Docker虚拟化容器技术 |
2.2.3 Kubernetes容器调度引擎 |
2.3 本章小结 |
第三章 多粒度遥感大数据计算方法 |
3.1 影像粒度的分布式计算 |
3.1.1 算法镜像分层构建方法 |
3.1.2 镜像管理与分发策略 |
3.1.3 分布式容器调度方法 |
3.2 瓦片粒度的分布式计算 |
3.2.1 遥感影像瓦片切分策略 |
3.2.2 空间索引设计与组织 |
3.2.3 瓦片数据分配策略 |
3.3 像元粒度的分布式计算 |
3.3.1 像元粒度空间数据组织 |
3.3.2 机器学习工作流构建方法 |
3.4 本章小结 |
第四章 遥感大数据方法荒漠化信息提取实践 |
4.1 遥感荒漠化信息提取研究背景 |
4.1.1 荒漠化信息提取原理 |
4.1.2 基于大数据技术的荒漠化信息提取流程 |
4.2 影像粒度的分布式计算——大气校正 |
4.2.1 大气校正历史算法程序分布式实现 |
4.2.2 实验与结果分析 |
4.3 瓦片粒度的分布式计算——植被信息提取 |
4.3.1 数据临近存储与分布式计算实现 |
4.3.2 实验与结果分析 |
4.4 像元粒度的分布式计算——特征空间反演 |
4.4.1 分布式特征空间构建实现 |
4.4.2 实验与结果分析 |
4.5 本章小结 |
第五章 总结与展望 |
5.1 工作总结 |
5.2 创新点 |
5.3 研究展望 |
参考文献 |
攻读学位期间研究成果 |
致谢 |
(4)移动云复杂网络环境下的任务调度模型与算法(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.3 本文主要工作 |
1.4 本文结构安排 |
2 相关理论基础 |
2.1 移动云计算概述 |
2.2 移动云任务调度概述 |
2.2.1 移动云任务调度 |
2.2.2 基于社交关系的移动云任务调度 |
2.3 调度算法概述 |
2.3.1 传统调度算法 |
2.3.2 启发式算法 |
2.3.3 元启发式算法 |
2.4 本章小结 |
3 移动云复杂网络环境下的任务调度建模 |
3.1 任务模型 |
3.2 网络模型 |
3.3 执行时间与能耗模型 |
3.4 调度优化模型 |
3.5 本章小结 |
4 基于改进贪婪搜索策略的启发式调度算法 |
4.1 有向无环图类型划分 |
4.2 获取可行设备 |
4.3 任务分配策略 |
4.4 IGS启发式调度算法 |
4.5 实验结果与分析 |
4.5.1 合成工作流调度结果分析 |
4.5.2 科学工作流调度结果分析 |
4.6 本章小结 |
5 基于网间和网内的双层启发式调度优化算法 |
5.1 可跨网移动的任务组合挖掘算法 |
5.2 网内局部搜索算法 |
5.3 IIDL启发式调度优化算法 |
5.4 实验结果与分析 |
5.4.1 合成工作流调度结果分析 |
5.4.2 科学工作流调度结果分析 |
5.5 本章小结 |
6 总结与展望 |
6.1 本文总结 |
6.2 未来工作展望 |
致谢 |
参考文献 |
附录 攻读硕士学位期间发表的论文和出版着作情况 |
(5)云环境下多级密码服务调度方法的研究(论文提纲范文)
摘要 |
ABSTRACT |
符号对照表 |
缩略语对照表 |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 调度模型相关研究 |
1.2.2 调度策略和方法相关研究 |
1.3 论文组织结构 |
第二章 相关理论知识 |
2.1 作业调度概述 |
2.1.1 作业调度定义 |
2.1.2 作业调度目标 |
2.1.3 作业调度分类 |
2.2 虚拟化技术 |
2.3 密码学基本概念 |
2.3.1 对称密码算法 |
2.3.2 非对称密码算法 |
2.3.3 哈希函数 |
2.3.4 数字签名 |
2.4 本章小结 |
第三章 多级密码服务调度模型 |
3.1 应用场景 |
3.2 密码服务特性分析 |
3.3 密码服务需求分析 |
3.3.1 系统的需求分析 |
3.3.2 用户的需求分析 |
3.4 多级调度模型 |
3.4.1 总体模型 |
3.4.2 模型描述 |
3.5 本章小结 |
第四章 多级密码服务调度方案 |
4.1 问题分析 |
4.2 密码服务调度方法 |
4.2.1 基于用户属性的调度 |
4.2.2 基于任务属性的调度 |
4.2.3 基于节点属性的调度 |
4.3 调度方案及流程 |
4.4 本章小结 |
第五章 仿真验证与分析 |
5.1 相关仿真参数设置 |
5.2 实验结果与分析 |
5.3 本章小结 |
第六章 总结与展望 |
6.1 研究工作总结 |
6.2 未来展望 |
参考文献 |
致谢 |
作者简介 |
(6)云计算平台任务调度算法研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.3 本文的研究内容 |
1.4 论文的组织结构 |
第二章 云计算任务调度及相关技术 |
2.1 云计算概述 |
2.1.1 云计算定义 |
2.1.2 云计算的特点与分类 |
2.2 云计算任务调度算法介绍 |
2.3 云计算的关键技术 |
2.4 Cloudsim云计算仿真平台 |
2.4.1 Cloudsim体系结构 |
2.4.2 Cloudsim仿真流程 |
2.5 本章小结 |
第三章 基于回填算法时间感知的独立任务调度算法 |
3.1 独立任务调度模型 |
3.2 BackFilling算法及其相关改进型算法介绍 |
3.2.1 Conservative BackFilling算法 |
3.2.2 Easy BackFilling算法 |
3.2.3 Improved BackFilling算法 |
3.3 基于时间感知的回填调度算法 |
3.3.1 现有回填调度算法存在的问题 |
3.3.2 针对回填任务的优化改进 |
3.3.3 算法架构与流程 |
3.4 实验仿真及性能分析 |
3.4.1 实验参数设置 |
3.4.2 评价指标和性能分析 |
3.5 本章小结 |
第四章 基于表调度的关键路径关联任务调度算法 |
4.1 DAG关联任务模型 |
4.1.1 DAG图模型 |
4.1.2 关键路径 |
4.2 关联任务调度调度模型和参数定义 |
4.2.1 关联任务调度模型 |
4.2.2 参数定义 |
4.3 经典的表调度算法 |
4.3.1 HEFT算法 |
4.3.2 CPOP算法 |
4.4 基于关键路径优化型表调度算法 |
4.4.1 先前算法存在的问题 |
4.4.2 算法优化改进和算法流程 |
4.4.3 算例对比分析 |
4.5 实验仿真及性能分析 |
4.5.1 仿真环境和DAG任务数据集 |
4.5.2 评价指标和性能分析 |
4.6 本章小结 |
第五章 总结与展望 |
5.1 工作总结 |
5.2 未来展望 |
参考文献 |
附录1 攻读硕士学位期间撰写的论文 |
附录2 攻读硕士学位期间申请的专利 |
附录3 攻读硕士学位期间参加的科研项目 |
致谢 |
(7)面向MapReduce异构集群的低功耗调度技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 引言 |
1.1 研究背景意义 |
1.2 研究现状 |
1.2.1 模型扩展和改进 |
1.2.2 不同作业的使用 |
1.2.3 性能优化 |
1.2.4 负载均衡优化 |
1.2.5 多平台应用 |
1.2.6 针对容错性优化 |
1.2.7 能耗优化 |
1.3 论文组织结构 |
1.4 本章小结 |
第2章 相关技术介绍 |
2.1 分布式技术和并行技术 |
2.1.1 分布式计算框架 |
2.1.2 并行计算模型 |
2.2 异构计算 |
2.2.1 异构计算背景 |
2.2.2 本文异构集群介绍 |
2.2.3 异构计算面临的挑战 |
2.3 MapReduce介绍 |
2.3.1 MapReduce简述 |
2.3.2 Hadoop简述 |
2.3.3 MapReduce执行流程 |
2.3.4 调度器介绍 |
2.4 本章小结 |
第3章 MapReduce低功耗调度模型 |
3.1 低功耗调度 |
3.1.1 低功耗调度背景介绍 |
3.1.2 服务器各部分功耗模型 |
3.2 问题分析 |
3.3 模型介绍 |
3.4 模型求解 |
3.5 本章小结 |
第4章 模型在CloudSim框架的仿真实验 |
4.1 CloudSim框架 |
4.1.1 CloudSim概述 |
4.1.2 CloudSim类以及通信框架 |
4.2 模型应用仿真实验 |
4.3 能耗规律揭示 |
4.4 本章小结 |
第5章 结论 |
参考文献 |
附录A 攻读硕士学位期间获得的学术成果 |
致谢 |
(8)片上多核系统软件特性及系统可靠性分析研究(论文提纲范文)
摘要 |
英文摘要 |
第一章 绪论 |
1.1 引言 |
1.2 片上多核系统技术现状 |
1.3 关键技术原理及其研究进展 |
1.3.1 嵌入式系统软件特性分析 |
1.3.2 多核Cache一致性协议分析 |
1.3.3 系统任务调度不确定性分析 |
1.4 主要问题及其研究内容 |
1.5 本论文的章节安排 |
第二章 相关基础知识及技术原理 |
2.1 相关数学基础 |
2.1.1 集合与有限状态机 |
2.1.2 马尔可夫链模型 |
2.1.3 随机抽样优化方法 |
2.2 软件特性分析方法 |
2.2.1 进程代数理论 |
2.2.2 符号逻辑方法 |
2.2.3 行为计算方法 |
2.3 多核系统可靠性技术 |
2.3.1 片上多核系统设计原理 |
2.3.2 Cache一致性协议介绍 |
2.3.3 系统可靠性分析方法 |
2.4 系统任务调度原理 |
2.4.1 不确定性原理 |
2.4.2 竞态条件模型 |
2.4.3 系统任务调度 |
2.5 本章小结 |
第三章 程序特性分析方法及DR-Cache应用技术 |
3.1 引言 |
3.2 软件行为特性模型的构建 |
3.2.1 基于指令的状态机模型 |
3.2.2 马尔科夫进程代数模型 |
3.3 DR-Cache资源最优评估方法 |
3.3.1 DR-Cache模型原理 |
3.3.2 SBF特征提取方法 |
3.4 实验结果与分析 |
3.5 本章小结 |
第四章 多核Cache一致性协议及其系统可靠性分析 |
4.1 引言 |
4.2 多核Cache一致性原理 |
4.2.1 多核系统结构模型 |
4.2.2 缓存一致性协议 |
4.3 HCS架构下系统可靠性 |
4.3.1 瞬时状态故障分析 |
4.3.2 2-端可靠性函数 |
4.4 实验结果与分析 |
4.4.1 缓存一致性可靠性结果分析 |
4.4.2 HCS网络结构可靠性比较结果 |
4.5 本章小结 |
第五章 多核系统任务不确定性分析及其调度模型 |
5.1 引言 |
5.2 竟态条件中的不确定性模型 |
5.2.1 事件序列的不确定性模型 |
5.2.2 竞态条件的不确定性模型 |
5.3 基于最大熵的任务调度算法 |
5.3.1 最大熵优化模型 |
5.3.2 任务调度算法 |
5.4 实验结果与分析 |
5.4.1 竞态条件分析 |
5.4.2 任务调度性能比较 |
5.5 本章小结 |
第六章 片上多核系统软硬件协同设计验证平台 |
6.1 引言 |
6.2 系统设计方案 |
6.3 硬件架构验证平台 |
6.3.1 设计架构 |
6.3.2 结果验证 |
6.4 系统软件验证平台 |
6.4.1 设计架构 |
6.4.2 结果验证 |
6.5 本章小结 |
第七章 工作总结及今后的研究方向 |
7.1 工作总结 |
7.2 今后研究方向 |
参考文献 |
博士期间发表的论文 |
博士期间参与的课题项目 |
致谢 |
(9)面向大规模服务集群调度冲突检测和控制算法的研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景 |
1.2 国内外研究现状 |
1.3 研究内容 |
1.4 论文的组织结构 |
第二章 服务集群资源调度研究基础 |
2.1 服务集群资源管理和调度系统概述及演变 |
2.2 基于乐观并发控制算法的共享模式 |
2.2.1 乐观并发控制算法概述及其分类 |
2.2.2 基于乐观并发控制算法的共享状态调度 |
2.3 多调度架构下的服务集群实时调度算法 |
2.3.1 Sparrow的调度算法概述 |
2.3.2 Apollo的基于估计的调度算法概述 |
2.3.3 Borg的两阶段调度算法概述 |
2.3.4 Tarcil的干扰自感知调度算法 |
2.4 本章小结 |
第三章 基于并行验证机制的共享状态调度 |
3.1 服务集群工作负载特征分析 |
3.2 采用并行验证机制的动机 |
3.3 基于并行验证机制的共享状态调度架构概述 |
3.4 并行的冲突检测算法 |
3.4.1 并行的粗粒度冲突检测算法 |
3.4.2 并行的细粒度冲突检测算法 |
3.4.3 算法分析 |
3.5 实验与分析 |
3.5.1 仿真器实验平台概述 |
3.5.2 实验环境 |
3.5.3 实验参数及评价指标 |
3.5.4 实验结果与分析 |
3.6 本章小结 |
第四章 多属性融合冲突检测算法 |
4.1 引言 |
4.2 批处理任务的多属性描述模型 |
4.3 多属性融合的动机 |
4.4 基于D-S的任务多属性融合 |
4.4.1 多属性融合的基本方法 |
4.4.2 批处理任务的多属性融合模型 |
4.4.3 批处理任务多属性融合中相关度值设置方法 |
4.5 多属性融合冲突检测算法 |
4.6 实验与分析 |
4.6.1 实验参数及评价指标 |
4.6.2 实验结果及分析 |
4.7 本章小结 |
第五章 共享状态调度下的冲突预防和控制算法 |
5.1 引言 |
5.2 具有冲突预防功能的批抽样调度算法 |
5.2.1 算法描述 |
5.2.2 算法分析 |
5.2.3 实验结果与分析 |
5.3 基于机会成本的冲突预防批抽样调度算法 |
5.3.1 算法描述 |
5.3.2 算法分析 |
5.3.3 实验结果及分析 |
5.4 准入控制策略 |
5.4.1 常用的准入控制策略 |
5.4.2 PVBSSS的准入控制策略 |
5.4.3 实验结果及分析 |
5.5 小结 |
第六章 总结与展望 |
6.1 本文工作总结 |
6.2 未来工作展望 |
参考文献 |
攻读博士学位期间完成的科研成果 |
致谢 |
(10)云环境下基于并行支持向量机的高光谱影像分类研究(论文提纲范文)
中文摘要 |
Abstract |
中文文摘 |
目录 |
第1章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 高光谱遥感影像支持向量机(SVM)分类研究现状 |
1.2.2 并行支持向量机(PSVM)研究现状 |
1.2.3 云计算与云GIS研究现状 |
1.2.4 基于云计算的并行支持向量机(Cloud-PSVM)研究现状 |
1.2.5 Cloud-PSVM与遥感数据云处理 |
1.3 研究目标、内容和技术路线 |
1.3.1 研究目标 |
1.3.2 研究内容 |
1.3.3 技术路线 |
1.4 论文组织结构 |
1.5 本章小结 |
第2章 实验基础数据与影像融合 |
2.1 实验基础数据 |
2.1.1 EO-1卫星概况 |
2.1.2 EO-1相关数据及其他辅助数据 |
2.2 实验区概况 |
2.2.1 一级实验区概况 |
2.2.2 二级实验区概况 |
2.3 实验数据预处理 |
2.3.1 EO-1Hyperion数据预处理 |
2.3.2 EO-1ALI数据预处理 |
2.4 遥感数据融合 |
2.4.1 Hyperion影像融合的必要性 |
2.4.2 Hyperion影像融合策略 |
2.4.3 影像融合效果评价方法 |
2.4.4 基于GS3的高光谱影像融合研究 |
2.4.5 GS3与其他像元级融合方法对比研究 |
2.5 本章小结 |
第3章 基于组合特征的BDT-SMO高光谱融合影像分类研究 |
3.1 支持向量机(SVM) |
3.2 对SVM传统算法的改进——序列最小优化算法(SMO) |
3.3 纹理特征的提取方法 |
3.3.1 纹理灰度特征提取方法——灰度共生矩阵 |
3.3.2 纹理梯度特征提取方法——灰度-梯度共生矩阵 |
3.3.3 纹理尺度特征提取方法——小波多尺度分析 |
3.4 基于组合特征的BDT-SMO土地利用分类实现过程 |
3.4.1 分类特征提取 |
3.4.2 土地利用分类体系调整 |
3.4.3 样本选择与特征数据的归一化处理 |
3.4.4 基于不同特征组合方案的高光谱融合影像分类研究 |
3.4.5 基于不同多类分类策略的高光谱融合影像分类研究 |
3.5 基于BDT-SMO的高光谱融合影像土地利用分类研究 |
3.6 基于组合核函数的高光谱融合影像土地利用分类研究 |
3.6.1 核函数的定义与性质 |
3.6.2 核函数选取 |
3.6.3 组合核函数 |
3.6.4 实验与分析 |
3.7 本章小结 |
第4章 基于并行支持向量机的融合影像分类研究 |
4.1 并行支持向量机(PSVM) |
4.1.1 层叠式并行支持向量机(Cascade-PSVM) |
4.1.2 反馈式并行支持向量机(Feedback-PSVM) |
4.1.3 分组式并行支持向量机(Grouped-PSVM) |
4.1.4 混合式并行支持向量机(Hybrid-PSVM) |
4.2 基于样本交叉组合的改进型混合式PSVM(YBJCF-PSVM) |
4.2.1 YBJCF-PSVM样本交叉合并策略 |
4.2.2 YBJCF-PSVM结构设计 |
4.3 对比实验与分析 |
4.4 并行支持向量机(PSVM)的实现 |
4.4.1 单机并行支持向量机(HOST-PSVM) |
4.4.2 分布式并行支持向量机(DIST-PSVM) |
4.5 基于MPI的YBJCF-PSVM的训练方案 |
4.6 本章小结 |
第5章 基于Cloud-PSVM高光谱融合影像分类研究 |
5.1 海量遥感影像分类面临的困境 |
5.2 遥感数据云存储与Hadoop分布式文件系统 |
5.3 基于Hadoop的高光谱融合影像分割与存取策略 |
5.3.1 基于Hadoop的高光谱融合影像的分割策略 |
5.3.2 基于Hadoop的高光谱融合影像数据组织方式 |
5.3.3 基于Hadoop的遥感影像存取与更新策略 |
5.4 遥感数据云处理与MapReduce并行运算模式 |
5.4.1 遥感数据云处理 |
5.4.2 MapReduce分布式并行运算模式 |
5.5 基于MapReduce的分类特征并行提取方案 |
5.6 基于MapReduce的YBJCF-PSVM模型并行训练策略 |
5.7 基于MapReduce的融合影像并行预测策略 |
5.8 基于Hadoop的高光谱融合影像土地利用分类云服务 |
5.9 实验结果与分析 |
5.9.1 实验环境配置与样本选择 |
5.9.2 基于MapReduce的分类特征并行提取实验 |
5.9.3 基于MapReduce的YBJCF-PSVM模型并行训练实验 |
5.9.4 基于MapReduce的高光谱融合影像并行预测实验 |
5.9.5 基于Hadoop的高光谱融合影像土地利用分类云服务实验 |
5.10 本章小结 |
第6章 Cloud-PSVM增量学习策略研究 |
6.1 遥感影像分类增量学习问题 |
6.2 SVM的增量学习 |
6.2.1 SVM的增量学习过程 |
6.2.2 KKT条件 |
6.2.3 SVM传统增量学习策略 |
6.2.4 基于超球SVM的类增量学习策略 |
6.3 基于壳向量的SVM增量学习策略 |
6.3.1 壳向量 |
6.3.2 基于壳向量的SVM渐进增量学习算法(HASVM) |
6.4 基于MapReduce和壳向量的SVM渐进增量学习算法 |
6.5 实验与结果分析 |
6.5.1 基于HASVM的增量学习实验 |
6.5.2 基于HASVM的类增量学习实验 |
6.5.3 基于MapReduce-GPU-HASVM的增量学习实验 |
6.6 本章小节 |
第7章 基于并行遗传算法的Cloud-PSVM核参数优化策略 |
7.1 传统遗传算法 |
7.2 并行遗传算法(PGA) |
7.3 分布式并行遗传算法 |
7.4 基于MapReduce的并行遗传算法(MapReduce-PGA) |
7.5 基于MapReduce-PGA的BDT-SMO核参数优化策略 |
7.5.1 编码规则设置 |
7.5.2 独立遗传操作 |
7.5.3 个体移迁策略 |
7.6 实验与结果分析 |
7.6.1 核参数优化效率对比 |
7.6.2 分类精度对比 |
7.7 本章小结 |
第8章 结论与展望 |
8.1 结论 |
8.2 创新点 |
8.3 讨论与展望 |
参考文献 |
攻读学位期间承担的科研任务与主要成果 |
致谢 |
个人简历 |
四、并行分布计算中的任务调度及其分类(论文参考文献)
- [1]智慧标识网络中边缘计算服务的任务卸载和资源适配研究[D]. 李雪靖. 北京交通大学, 2021
- [2]基于图卷积网络的片上系统软硬件协同设计研究[D]. 郑欣. 广东工业大学, 2021(08)
- [3]多粒度遥感大数据计算方法研究 ——以荒漠化信息提取为例[D]. 王翰林. 长安大学, 2020(06)
- [4]移动云复杂网络环境下的任务调度模型与算法[D]. 孙露露. 南京理工大学, 2020(01)
- [5]云环境下多级密码服务调度方法的研究[D]. 孙德洋. 西安电子科技大学, 2019(02)
- [6]云计算平台任务调度算法研究[D]. 袁佳欣. 南京邮电大学, 2018(02)
- [7]面向MapReduce异构集群的低功耗调度技术研究[D]. 刘梦泽. 中国石油大学(北京), 2018(01)
- [8]片上多核系统软件特性及系统可靠性分析研究[D]. 李思照. 厦门大学, 2018(07)
- [9]面向大规模服务集群调度冲突检测和控制算法的研究[D]. 何丽波. 云南大学, 2018(10)
- [10]云环境下基于并行支持向量机的高光谱影像分类研究[D]. 黄风华. 福建师范大学, 2014(03)