基于信息熵的混合引力搜索算法
来源:爱够旅游网
第33卷第5期 计算机应用研究 V01.33 No.5 2016年5月 Application Research of Computers May 2016 基于信息熵的混合引力搜索算法 ’郭洁皓,高兴宝 (陕西师范大学数学与信息科学学院,西安710062) 摘要:针对基本引力搜索算法搜索速度慢和容易出现早熟的缺点,提出了一种基于信息熵的混合引力搜索算 法。受粒子群算法的启发,所提算法通过改进基本引力搜索算法的速度和位置更新式来提高搜索速度;通过惯 性质量构造了信息熵模型来刻画种群的寻优程度,并采用不同的信息熵阈值动态选择权重,平衡了算法的全局 搜索能力和局部搜索能力。用八个标准测试函数的仿真实验和基本引力搜索算法与记忆改进的引力搜索算法 的比较表明了所提算法收敛速度快,鲁棒性强且效率高。 关键词:引力搜索;信息熵;启发式;极大熵原理;权重 中图分类号:TP301.6 文献标志码:A 文章编号:1001—3695(2016)05.1319.03 doi:10.3969/j.issn.1001-3695.2016.05.009 Hybrid gravitational search algorithm with information entropy Guo Jiehao,Gao Xingbao (School ofMathematics&Information Science,Shaanxi Normal University,Xi’an 710062,China) Abstract:Based on information entropy,this paper proposed a hybrid gravitational search algorithm to overcome drawbacks of basic gravitational search algorithm,such as low speed,prematurity,and SO on.Inspired by particle swarm optimization,the pro— prosed algorithm first modiifed the formulate of velocity and position to enhance the searching speed.To balance the ability of global search and local search,by means of mass,it built ifnormation entropy model to characterize the population optimization degree,and chose different weights according to different threshold of the ifnormation entropy.Numerical experiments On eight benchmark functions illustrate that the proposed algorithm is superior to basic rgavitational search algorithm(GSA)and memo— ry rgavitational search algoirthm(MGSA). Key words:gravitational search;information entropy;heuristic;maximum entropy prindiple;weight 引力搜索算法(gravitational search algorithm,GSA)源于物 理学中的万有引力现象,是由Rashedi等人 于2009年提出 1基本引力搜索算法 的一种新兴的启发式优化算法。基本的GSA算法模拟了物理 在引力搜索算法中,空间中的每个粒子被看做是能够进行 学中的万有引力现象,并遵循牛顿第二定律。由于其具有很强 无阻力运动的有质量的物体,会受到解空间中其他粒子的万有 的全局搜索能力,GSA在解决不同的优化问题中表现出了很 引力的影响,其运动遵循牛顿第二定律。由于粒子的质量由粒 好的性能,逐渐引起了关注,并被应用到不同的领域,如水轮机 子的适应度决定,适应度值越大,其质量也越大。所以,质量小 调节系统的参数识别 J、混沌系统的参数识别 、多目标经济 的粒子在万有引力的作用下逐渐朝着质量大的粒子移动,使粒 决策 等。与其他启发式算法(如遗传算法等)一样,引力搜 子逐渐逼近质量最大的粒子,从而得到优化问题的最优解。每 索算法也存在搜索速度慢和早熟收敛等缺陷,因此限制了其优 一个粒子具有位置、惯性质量、作用引力质量和被动引力质量 化能力及应用范围。为了改善基本引力搜索算法的性能,文献 这四种属性。基本引力搜索算法 描述如下: [5]提出了基于反向学习策略和精英策略的改进引力搜索算 设一个D维搜索空间中包含Ⅳ个粒子,X =( , ,…, 法;文献[6]在计算惯性质量的同时对质量使用权值计算;文 ,…, )表示第i个粒子的位置,其中 表示第i个粒子在 献[7]提出了一种具有分裂功能的万有引力算法,避免了算法 第 维上的位置。在某一时刻t,粒子 作用在粒子i上的引力 在搜索过程中出现停滞的现象;文献[8]提出了一种记忆改进 大小为 的引力搜索算法。这些算法在一定程度上提高了精度和局部 搜索能力,但未较好地分析算法在不同阶段的性能,选取合适 ㈣_G(£) ( 一㈣) (1) 的参数以获得更高的效率。 其中: (£)表示被作用粒子i的惯性质量;Mai(t)表示作用粒 本文改进了基本GSA算法的速度和位置更新式,通过惯 子 的惯性质量;s是一个很小的常数;R (t)表示粒子i和粒子 性质量构造信息熵模型来刻画种群的寻优程度,并根据信息熵 之间的欧氏距离;G(t)表示t时刻的万有引力常数,计算式为 阈值来选择不同的权重,从而使算法快速收敛到问题的最 G(£)=Go×e一 (2) 优解。 其中: 表示在初始时刻t。的万有引力常数;T为最大迭代次 收稿日期:2015—01-07;修回日期:2015·03—10 基金项目:国家自然科学基金资助项目(6127331l,61173094) 作者简介:郭洁皓(1991-),女,陕西渭南人,硕士研究生,主要研究方向为智能优化算(jiehao—guo一16@163.com);高兴宝(1966一),男,陕西 陇县人,教授,博导,主要研究方向为智能计算、神经网络. ·1320· 计算机应用研究 第33卷 数,它由宇宙的真实年龄决定,即随着宇宙年龄的增长,其值反 而会变小。为了使引力搜索算法具有随机性的特点,给粒子i 的第 维上引力的合力指定一个随机数,即 F (f):二rand XF (f) , J., 选取 可以使算法在进化过程中能对上一时刻的位置信息选 择性地保留,从而使粒子能够有机会移动到当前最优粒子附近 区域以外的可行区域,不但避免了算法陷入局部最优,而且使 (3) 粒子能够更快地搜索到目标最优解,因此需在算法进化过程中 动态调整 。算法希望在结束时所有粒子都聚集到最优点的 附近,即所有粒子在此时刻的惯性质量都与代表最优解的粒子 的惯性质量相同或者非常接近。由于信息熵是由Shannon 提出的表示一个随机事件的不确定性或信息量的度量。熵越 大,事件越不确定。因此,为了动态调整权重 ,根据惯性质 其中:rand表示[0,1]之间的随机数, 定义如式(1)。 根据牛顿第二定律,粒子i在t时刻第 维上的加速度为 (4) 其中: (t)是粒子i的惯性质量。因此,粒子的速度和位置更 新式为 (t+1)=rand× (£)+。 ( ) (5) ( +1): ( )+" (t+1) (6) 粒子的惯性质量 (t)可以通过对应的适应度值来计算, 计算式为 M = =Mii=Mi : ㈩ ( ) ( ) ( ) 其中:i=1,2,…,Ⅳ;fit (t)表示粒子i在t时刻的适应度值。对 于最小值问题,worst(t)和best(t)定义为 fbes ‘ 川 ¨ (8) 【 删( )= J.∈{1 ,z,’, II q( ) 而对于最大值问题,worst(t)和best(t)定义为 r be ̄t( )= m ift (t) J J llI2, , } (9) 【 删( ):川,E l J,1 tj( ) .…,,Ⅳj』v『 与其他基于群体智能的启发式算法一样,虽然引力搜索算 法具有很强的全局搜索能力,然而其本身也存在优化精度不 高、容易发生早熟、搜索速度慢等缺陷。 2 基于信息熵的混合引力搜索算法 针对基本引力搜索算法搜索速度慢及容易陷入局部最优 的缺点,本章从以下两个方面改进。 2.1 引力搜索算法更新式的改进 从GSA算法的速度和位置更新式(5)(6)可以看出,GSA 算法在迭代过程中,只利用当前的位置信息来引导算法寻求最 优解,因而不利于平衡算法的全局搜索能力和局部搜索能力。 受粒子群算法 的启发,对GSA算法的速度和位置更新式改 进如下: (t+1):rand1 x ( )+cI×rand2 xo (t)+ c2×rand3×(gbest 一 ) (10) (t+1)= (t)+口 (t+1) (11) 其中;randl、rand2和rand3是to,1]之间的随机数;c1和c2表 示学习因子,通过调整c 和C:可以使算法具有均衡的全局搜 索能力和局部搜索能力;gbest:(gbest ,gbest ,…,gbest ,…, gbest。)是粒子群中迄今的最好位置,用它来保存当前最优解; W为权重,表示粒子在下一时刻更新位置时保留当前位置信息 的程度。 2.2混合引力搜索算法的信息熵模型 在式(11)中,权重 对算法的性能有重要的影响,合适地 量,构造如下信息熵模型: P = ‘ ‘¨ N fl2)、 , /4(£)=一 P (£)log2(P ( )) 其中: (t)表示粒子i在t时刻的惯性质量;日(t)表示t时刻 全体粒子的信息熵值,用来刻画当前种群的寻优程度;P (£)> 0表示t时刻粒子i的惯性质量与所有粒子惯性质量的和的比 率,则∑P (t)=1,i=1,2,…,N。由极大熵原理 ¨得:当粒子 的P (t)无限接近于 1时,H(t)达到最大值,算法趋于稳定。 在模型式(12)中,当H(t)越接近于0时,粒子惯性质量 (t)在t时刻相差越大且分布不均匀,算法不稳定。此时应 增大权重 使得粒子在更新位置时更多地继承前一时刻的信 息;随着迭代次数增加,粒子的M (t)相互靠近,H(t)逐渐增 大,此时为了避免算法陷入局部最优,适当地减小彬;当H(t) 接近最大值时,为了避免算法停滞,重新增大权重W。因此,权 重 的具体设置如下: f ~Ⅳ(1·0,0·1) if0<日( )<Kl {【 ~N(0.65,0.1)ifKl<日( )<K2 (13) ∞~Ⅳ(0.9,0.1) if日( )> 其中:Ⅳ( , )表示正态分布(均值为 ,标准差为 );K 和 K2为设定的阈值,较小的阈值K。反映了H(#)越接近于0, 较大;较大的阈值 反映了/t(t)逐渐增大时, 较小。 2.3 EHGSA算法框架 根据上述改进,提出的算法如下: 算法1 EHGSA a)设置当前时刻t=0,初始化种群中每个粒子的位置和 速度,并计算每个粒子的适应度,将种群中的最优个体作为当 前的gbest。 b)若终止条件满足,则停止,输出最优值;否则,执行步骤 c)。 c)根据式(7)计算惯性质量,并用式(12)(13)计算种群的 信息熵选择对应的权重W。 d)根据式(2)更新引力常数,并根据式(3)(4)计算合力 和加速度。 e)根据式(10)(11)更新粒子的速度和位置。 f)计算每个粒子的适应度值,并更新gbest。 g)令t=t+1,转步骤b)。 3仿真实验及分析 为测试算法1的性能,本章对八个标准测试函数进行数值 实验,并与基本GSA算法和文献[8]提出的MGSA算法进行比 第5期 郭洁皓,等:基于信息熵的混合引力搜索算法 ·1321· 较。仿真实验的运行环境为Intel Core i3 CPU M380 2.53 GHz、 内存2 GB、主频2.53 GHz、Windows 7操作系统,仿真实验的软 件采用MATLAB R2010a。测试函数如表1所示,其中S∈R“ 为搜索空间, 一 为单峰函数, 和 为多峰函数, 和 为低维多峰函数, 和 中的参数设置分别见文献[1]中 的TABLE A.1和TABLE A.2。 在实验中,对每个测试函数独立运行30次,算法1的参数 设置如下:c。=0.5,C2=1.5;阈值Kl=0.05和 :0.95;初始 iteration 图5函数 的优化性能曲线 图6函数 的优化性能曲线 引力常数Go=1, =20,种群规模N=30;最大迭代次数和维 数与基本GSA和MGSA算法保持一致,分别为T=1 000;F,一 的维数设置为n=30,F7和 的维数如表1所示。基本 GSA和MGSA算法中种群规模设置为50。 表1标准测试函数 百 0∞-】8qJss lIJ 图1~8直观地给出了EHGSA算法对测试函数的优化性 能曲线,从图中可以看出EHGSA算法具有较快的收敛速度。 表2给出了EHGSA、基本GSA和MGSA算法对标准测试函数 的优化性能结果的比较。其中Average表示运行结果的平均 值,Median表示运行结果的中值,Std.表示运行结果的标准差。 GSA和MGSA算法的结果来自文献[8]中的表3,“一”表示相 应文献没有提供,黑体表示几种算法的最优值。表3给出了 EHGSA算法测试函数的平均运行时间。 iteration iteration 图1函数 的优化性能曲线 图2函数 的优化性能曲线 iteration iteration 图3函数 的优化性能曲线 图4函数凡的优化性能曲线 iteration iteration 图7函数 的优化性能曲线 图8函数 的优化性能曲线 表2三种算法(EHGSA、MGSA和GSA)对八个测试函数的实验结果比较 表3 EHGSA算法对八个测试函数的平均运行时间 由表2可以看出,除 函数外,EHGSA算法平均最优值 和中间最优值都明显优于其他两种算法;除 函数外, EHGSA算法对其余七个函数的标准差都明显优于其他两种算 法,尤其是对 和,6两个复杂多峰函数,EHGSA算法能快速 找到函数的理论最优解,同时标准差也为零,因此EHGSA算 法在处理多峰问题时具有较好的稳定性。对 函数,MGSA 算法的平均最优值和中间最优值最好,EHGSA算法次之,基 本GSA算法最差。原因在于基本GSA和MGSA算法中种群规 模为5O,而EHGSA算法为30。一般地,种群规模较大,有利于 算法的搜索能力,但算法在迭代过程中会花费较长的时间。从 上述实验结果来看,EHGSA算法相对于基本GSA算法和MG— SA算法具有较好的性能。 4结束语 针对基本引力搜索算法搜索速度慢和容易(下转第1349页) 第5期 王聪,等:基于混沌策略状态转移算法的混沌系统参数辨识 ·l349· 次数的增加,在55次左右CSSTA收敛到全局最优值,在90次 [3]王绍明,岳超源,罗海庚.基于未知参数观测器的Liu混沌系统 左右STA算法收敛到最优值,而PSO算法很快收敛,但却陷入 参数辨识[J].华中科技大学学报:自然科学版,2007,35(6): 了局部最优值。这说明CSSTA算法具有更高的收敛速度和更 47.49. 好的全局搜索能力。由图7给出的参数变化过程可以看出,存 [4]林剑,许力.基于混合生物地理优化的混沌系统参数估计[J].物 在噪声干扰时,CSSTA仍具有更高的鲁棒性和收敛速度。 理学报,2013,62(3):74{O. [5]张宏立,宋莉莉.基于量子粒子群算法的混沌系统参数辨识[J]. 物理学报,2013,62(19):114—119. [6]王柳,何文平,万仕全,等.混沌系统中参数估计的演化建模方法 [J].物理学报,2014,63(1):455.464. 蛔 [7]郭会军,刘君华.基于GA—Fuzzy的混沌系统辨识研究[J].系统仿 真学报,2004,16(6):1323—1325,1329. [8]Zhou Xia ̄un,Yang Chunhua,Gui Weihua.Initial version of state 0 20 40 60 80 l0o 120 (c) transition algorithm[C]//Proc of International Conference on Digital 迭代次数 迭代次数 Manufacturing and Automation.201 1:644—647. 图6有噪声时适应度值收敛曲线 图7有噪声时参数变化曲线 [9]Zhou Xiaojan,Yang Chunhua,Gui Weihua.State transition algorithm 6结束语 [J].Journal of Industrial and Management Optimization,2012,8 (4):1039—1056. 本文在状态转移算法的基础上加入混沌策略,提出混沌状 [10]阳春华,唐小林,周晓君,等.一种求解行商问题的离散状态转移 态转移算法对混沌系统参数辨识的方法。首先将混沌系统的 算法[J].控制理论与应用,2013,30(8):1040—1406. 参数辨识问题转换为一类多维参数优化问题,以Lorenz混沌 [1 1]Zhou Xia ̄un,Yang Chunhua,Gui Weihua.A new transformation into 系统为例进行仿真研究,结果表明,在无噪声和有噪声的条件 state trnasition algorithm for ifnding hte global minimum[C]//Proc of International Conference on Intelligent Control and Ifnormation Pro— 下,利用改进的混沌状态转移算法都可以得到优于粒子群和基 cessing.201 1:674—678. 本状态转移算法的辨识结果。笔者下一步将与状态转移算法 [12]李彩虹,李贻斌,赵磊,等.一维Logistic映射混沌伪随机序列统计 作进一步比较分析,再次验证混沌策略的状态转移算法的鲁棒 特性研究[J].计算机应用研究,2014,31(5):1403—1406. 性和稳定性。 [13]朱贵良,朱宏飞,张晓强.Logistic映射敏感值的有限精度研究 参考文献: [J].计算机应用研究,2012,29(2):664—666,671. [1]段文文,李碧.基于混沌的数字图像置乱算法及参数优化[J].计 [14]张永红,张博.基于Logistic混沌系统的图像加密算法研究[J].计 算机应用研究,2011,28(1):329-331. 算机应用研究,2015,32(6):1770—1773. [2]戴栋,马西奎,李富才,等.一种基于遗传算法的混沌系统参数估 [15]李建平,黄宜山,刘东南.Lorenz系统的自适应反同步控制及其应 计方法[J].物理学报,2002,51(11):2459—2462. 用[J].湖南工业大学学报,2011,25(1):93—97. (上接第1321页)出现早熟的缺点,本文提出了一种基于信息熵 化中的应用[J].计算机应用,2013,33(5):1317—1320. 的混合引力搜索算法。EHGSA算法首先改进了GSA算法的 [6]徐遥,王士同.引力搜索算法的改进[J].计算机工程与应用, 速度和位置更新式;其次通过惯性质量构造信息熵模型来刻画 2011,47(35):188—192. 种群的寻优程度,并根据信息熵阈值来选择不同的权重,不仅 [7]Sarafrazi S,Nezamabadi H,Saryazdi S.Disruption:a new operator in 提高了算法的搜索速度,而且权衡了算法的局部搜索能力和全 rgavitational search algorithm[J].Scientia Iranic Transantion D: Computer Science&Engineering,2011,18(3):539—548. 局搜索能力。与GSA和MGSA算法相比,通过八个标准测试 [8]李春龙,戴娟,潘丰.引力搜索算法中粒子记忆性改进的研究[J]. 函数的数值实验结果表明:无论针对单峰函数,还是多峰函数, 计算机应用,2012,32(10):2732-2735. EHGSA算法都表现出了更好的精度和稳定性。 [9]Kennedy J,Eberhart R.Particle swami optimization[C]//Proc of 参考文献: IEEE Conference on Neurla Networks.Piscataway:IEEE Press,1995: 1942—1948. [1]Rashedi E,Nezamabadi-Pour H,Saryazdi S.GSA:a gravitational search algorithm[J].Information Sciences,2009,1 79(13):2232— [10]Shannon C E.A mathematical theory of communication[J].Bell Sys· tern Technical Journal,1948,27(3):3—55. 2248. [11]Jaynes E T.Information theory and statistic mechanics[J].The [2]Chen Zhihuan,Yuan Xiaohui,Tian Hao,et a1.Improved gravitational American Statiscian,1987,41(4):79-86. search algorithm for parameter identiifcation of water turbine regulation [12]Zhao Weiguo.Adaptive image enhancement based on gravitational system[J].Energy Conversion and Management,2014,78(1): serach lagorithm[J].Procedia Engineering,2011,15:3288—3292. 306-315. [13]刘勇,马良.非线性极大极小问题的混沌万有引力搜索算法求解 [3]Li Chaoshun,Zhou Jinazhong,Xiao Jina,et a1.Parameters identiifca- [J].计算机应用研究,2012,29(1):47.49. tion of chaotic system by chaotic gravitational search algoirthm[J]. [14]刘卓倩,顾幸生.一种基于信息熵的改进粒子群算法[c]//系统 Chaos,Solitons&Fractals,2012,45(4):539-547. 仿真技术及其应用学术交流会论文选编.2005. [4]Mondal S,Bhattaeharya A.Muhiobjective economic emission load dis- [15]Coelho L D S,Mariani V C,Tutkum N,et a1.Magnetizer design based patch solution using gravitational search algorithm and considering on quasi—oppositional rgavitational serach algoirthm[J].IEEE Trans wind power penetration[J].Intemational Journal of Electrical on Magnetics,2014,50(2):705-708. Power&Energy Systems,2013,44(1):282—292. [16]苗苗.一种改进的类电磁机制算法[J].计算机与数字工程,2012, [5]张维平,任雪飞,李国强,等.改进的万有引力搜索算法在函数优 40(6):36.40: