网络入侵检测系统的设计与实现
1引言…………………………………………………………………2
1.1入侵检测技术的提出……………………………………………2
1.2入侵检测技术技术研究史………………………………………3
1.2.1以Denning模型为代表的IDS早期技术…………………………3
1.2.2中期：统计学理论和专家系统相结合…………………………4
1.2.3基于网络的NIDS是目前的主流技术………………………5
1.3本课题研究的途径与意义…………………………………11
2入侵检测技术原理……………………………………………12
2.1入侵检测技术第一步——信息收集…………………………12
2.1.1网络入侵检测技术模块方式………………………………13
2.1.2主机入侵检测技术模块方式……………………………13
2.1.3信息来源的四个方面…………………………………………13
2.2入侵检测技术的第二步——信号分析……………………………15
2.2.1模式匹配……………………………………………………16
2.2.2统计分析……………………………………………………16
2.2.3完整性分析…………………………………………………16
3入侵检测技术功能概要…………………………………………18
4入侵检测技术技术分析…………………………………………19
4.1入侵分析按其检测技术规则分类…………………………………19
4.1.1基于特征的检测技术规则……………………………………19
4.1.2基于统计的检测技术规则……………………………………20
4.2一些新的分析技术……………………………………………20
4.2.1统计学方法…………………………………………………20
4.2.2入侵检测技术的软计算方法…………………………………21
4.2.3基于专家系统的入侵检测技术方法…………………………21
5入侵检测技术技术发展方向……………………………………22
5.1分布式入侵检测技术与通用入侵检测技术架构……………………22
5.2应用层入侵检测技术…………………………………………22
5.3智能的入侵检测技术…………………………………………22
5.4入侵检测技术的评测方法……………………………………22
5.5网络安全技术相结合…………………………………………22
6建立数据分析模型……………………………………………23
6.1测试数据的结构………………………………………………22
6.2数据中出现的攻击类型…………………………………………25
6.2.1攻击（Attacks）………………………………………………25
6.2.2发现训练集中的攻击类型……………………………………26
6.2.3其他主流的攻击类型…………………………………………28
7聚类算法在网络入侵检测技术中的作用…………………………29
7.1模式识别的概念………………………………………………29
7.2模式分类……………………………………………29
7.3基于异常的入侵检测技术……………………………………32
7.4聚类算法简介…………………………………………………32
7.4.1K-means算法………………………………………………32
7.4.2迭代最优化算法………………………………………………32
7.4.3我的构想…………………………………………………32
结论…………………………………………………………………35
致谢…………………………………………………………………35
参考文献……………………………………………………………35
1引言
1.1入侵检测技术的提出
随着Internet高速发展，个人、企业以及政府部门越来越多地依靠网络传递信息,然而网络的开放性与共享性容易使它受到外界的攻击与破坏,信息的安全保密性受到严重影响。网络安全问题已成为世界各国政府、企业及广大网络用户最关心的问题之一。
在计算机上处理业务已由基于单机的数学运算、文件处理，基于简单连结的内部网络的内部业务处理、办公自动化等发展到基于企业复杂的内部网、企业外部网、全球互联网的企业级计算机处理系统和世界范围内的信息共享和业务处理。在信息处理能力提高的同时，系统的连结能力也在不断的提高。但在连结信息能力、流通能力提高的同时，基于网络连接的安全问题也日益突出，黑客攻击日益猖獗，防范问题日趋严峻：
●具WarroonResearch的调查，1997年世界排名前一千的公司几乎都曾被黑客闯入。
●据美国FBI统计，美国每年因网络安全造成的损失高达75亿美元。
●Ernst和Young报告，由于信息安全被窃或滥用，几乎80的大型企业遭受损失
●在最近一次黑客大规模的攻击行动中，雅虎网站的网络停止运行3小时，这令它损失了几百万美金的交易。而据统计在这整个行动中美国经济共损失了十多亿美金。由于业界人心惶惶，亚马逊(Amazon.com)、AOL、雅虎(Yahoo!)、eBay的股价均告下挫，以科技股为主的纳斯达克指数(Nasdaq)打破过去连续三天创下新高的升势，下挫了六十三点，杜琼斯工业平均指数周三收市时也跌了二百五十八点。遇袭的网站包括雅虎、亚马逊和Buy.com、MSN.com、网上拍卖行eBay以及新闻网站CNN.com，估计这些袭击把Internet交通拖慢了百分二十。"
目前我国网站所受到黑客的攻击，还不能与美国的情况相提并论，因为我们在用户数、用户规模上还都处在很初级的阶段，但以下事实也不能不让我们深思：
1993年底，中科院高能所就发现有"黑客"侵入现象，某用户的权限被升级为超级权限。当系统管理员跟踪时，被其报复。1994年，美国一位14岁的小孩通过互联网闯入中科院网络中心和清华的主机，并向我方系统管理员提出警告。
1996年，高能所再次遭到"黑客"入侵，私自在高能所主机上建立了几十个帐户，经追踪发现是国内某拨号上网的用户。同期，国内某ISP发现"黑客"侵入其主服务器并删改其帐号管理文件，造成数百人无法正常使用。
进入1998年，黑客入侵活动日益猖獗，国内各大网络几乎都不同程度地遭到黑客的攻击：
7月，江西169网被黑客攻击，造成该网3天内中断网络运行2次达30个小时，工程验收推迟20天；同期，上海某证券系统被黑客入侵；
8月，印尼事件激起中国黑客集体入侵印尼网点，造成印尼多个网站瘫痪，但与此同时，中国的部分站点遭到印尼黑客的报复；同期，西安某银行系统被黑客入侵后，提走80.6万元现金；
9月，扬州某银行被黑客攻击，利用虚存帐号提走26万元现金。
每年全球因计算机网络的安全系统被破坏而造成的经济损失达数百亿美元。进入新世纪之后，上述损失将达2000亿美元以上。
看到这些令人震惊的事件，不禁让人们发出疑问："网络还安全吗？"
试图破坏信息系统的完整性、机密性、可信性的任何网络活动都称为网络入侵。防范网络入侵最常用的方法就是防火墙。防火墙（Firewall）是设置在不同网络（如可信任的企业内部网和不可信任的公共网）或网络安全域之间的一系列部件的组合,它属于网络层安全技术,其作用是为了保护与互联网相连的企业内部网络或单独节点。它具有简单实用的特点，并且透明度高，可以在不修改原有网络应用系统的情况下达到一定的安全要求。
但是，防火墙只是一种被动防御性的网络安全工具，仅仅使用防火墙是不够的。首先，入侵者可以找到防火墙的漏洞，绕过防火墙进行攻击。其次，防火墙对来自内部的攻击无能为力。它所提供的服务方式是要么都拒绝，要么都通过,不能检查出经过他的合法流量中是否包含着恶意的入侵代码，这是远远不能满足用户复杂的应用要求的。
对于以上提到的问题，一个更为有效的解决途径就是入侵检测技术。在入侵检测技术之前，大量的安全机制都是根据从主观的角度设计的,他们没有根据网络攻击的具体行为来决定安全对策，因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全策略。而入侵检测技术正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系统策略以加强系统的安全性。
1.2入侵检测技术技术研究史
审计是最早引入计算机安全领域的概念，像存取文件、变更他们的内容或分类等的活动都记录在审计数据中，安全管理员、系统操作员和维护人员和普通用户一样都要经过行为审核。安德森提出要建立一个安全监督系统，保护那些系统敏感信息。他还提出应该检查什么、如何分析他、以及如何保护监督系统免受攻击，这成了今天IDS研究的核心内容。
70年代后期，美国政府，包括DoD（国防部）和NIST（国家标准和技术协会）支持的计算机安全研究2开始了，安全审计也被考虑在这些研究中。1980年，安德森提出了另外一项报告，这次是针对一个空军客户，后者使用大型计算机处理大量的机密数据。报告中，安德森提出了减少分析数据量的方法，以及比较统计数据和总的观察——也就是统计行为，以发现反常的行为。当一个安全违例发生或（统计上）反常的事件出现时，就会提醒安全官员。安全官员还能利用详细的观测资料做后续的评估。安德森的报告为SRI（StanfordResearchInstitute）和TRW（美国著名的数据安全公司）的早期工作提供了蓝图。在1980年代中期，入侵检测技术方面的许多工作都被他的思路深深影响。
1.2.1以Denning模型为代表的IDS早期技术
1984～1985年，Sytex为SPAWAR（美国海军）开展了一个审计分析项目。他基于Unix系统的shell级的审计数据，论证这些数据能够识别“正常”和“反常”使用的区别。特里萨
