[数据挖掘中涉及的计算方法及作用研究]数据挖掘 python

时间：2020-03-07 09:53:52　来源：雅意学习网本文已影响人

　　摘要：随着计算机软件和硬件的不断发展，数据存储量以惊人的速度向前发展着，但是大量的未经过加工的数据难以直接产生效益，所以就需要智能的数据分析工具来处理这些大量的数据，数据挖掘技术就是从数据库中发现知识的过程，并且数据挖掘技术在许多学科中都得到运用，有着很好的发展前景，首先分析数据挖掘中所涉及到的模糊逻辑、神经网络、神经――模糊、遗传算法、粗糙集和混合方法等软计算方法，然后指出数据挖掘在各个领域中的作用。
　　关键词：数据挖掘；软计算；模糊逻辑；遗传算法；神经网络
　　中图分类号：G252 文献标识码：A 文章编号：1671－7597（2011）1210094－01
　　1 数据挖掘中的软计算方法
　　1.1 模糊逻辑软计算方法。模糊逻辑软计算方法是数据挖掘中应用最早以及最广泛的软计算方法，可以这样说，模糊逻辑是软计算方法出现的前提。在数据挖掘领域内，模糊集技术占据着重要的地位，多数数据浏览方法都是基于模糊集理论来实现的。随着计算机技术的大力发展，目前模糊集被归类为数据挖掘中的另一种功能方法。
　　1）聚类：聚类是将具有抽象对象的集合进行分组，把类似的对象组成多个类。数据挖掘就是从庞大的数据库中找出对用户有用或者是用户感兴趣的知识。模糊集能强有力地搜索数据中的语气词汇，对它感兴趣的结构有助于定性和半定性数据的依赖度的发现以及阻止搜到无用的知识。模糊聚类算法真是由此发展出来的。它是通过兴趣度来获得有用信息的，当在处理一些不精确的数据时，它可以利用消减不符合要求的属性，以便更有效地发现有用的信息。
　　2）关联规则：协作规则描述的是数据不同属性之间的相互关系，也是数据挖掘中重要的一点。其中，布尔关联规则描述的是关联的属性是否在二维特征，概化关联规则考虑的是属性之间分层关系，量化关联规则描述的是离散化的属性之间的关联。由于模糊概念表示的规则更贴近于人的思维，所以，模糊技术在数据挖掘技术中发展的速度非常快。
　　3）数据概化：数据概化是将可理解的信息来表达数据库中最重要的部分，以供客户使用。语言概化是使用自然和可理解的词汇，首先需要用户制定概化兴趣度，然后系统从数据库中的记录来计算每个概化的有效性，最后选择最合适的语言概化。
　　1.2 神经网络软计算方法。由于先前神经网络的黑箱问题，它被认为在数据挖掘中并不适用。它虽不能获取有用信息，但是却很适合用于进行解释。它在数据挖掘中的主要作用体现在规则提取和自组织性上。
　　1）规则提取：规则提取算法是将训练过的神经网络与数据节点进行连接，其中隐藏的输出单元会自动地获取规则，然后合并，得到更多可理解的规则集。
　　2）自组织性：自组织性就是获得组织性和档案文件。
　　1.3 神经――模糊软计算方法。神经――模糊软计算方法就是把神经网络和模糊两种方法进行结合，建立了具有更强大功能的智能决策系统。通过神经网络可以获取更多的自然规则，通过模糊可以推论完整或部分信息，为用户找到具有关键决策的未知输入量。
　　1.4 遗传算法。遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法。遗传算法中主要包括了参数编码、初始群体的设定、适应度函数的设计、遗传操作设计以及控制参数设定五个基本要素。遗传算法具有很强的可调节性、鲁棒性和自适应性，主要用于搜集大空间集，它在解决多峰值、非线性以及全局优化等复杂度高的问题具有非常独特的优势。
　　1.5 粗糙集软计算方法。粗糙集理论是一种处理不确定问题的新型数学工具。它是基于给定训练数据内部的等价类建立起来的。在现实世界的数据中，常常存在一些属性不能区分的类，这种类就可以用粗糙集来近似定义。它能有效分析不精确、不确定以及不完整的信息，还能处理庞大的数据库和对冗余信息进行消除。
　　1.6 混合算法。混合算法就是将软计算的主要算法进行综合，混合算法在并行性、容错、自适应性和不定性管理方面可以产生更好的系统。混合系统把自动化自适应性系统变成现实。当把模糊系统、神经网络和遗传算法进行有机结合时，可以得到充分体现合理有效的认识系统的新产品。当把粗糙集、神经网络和模糊逻辑进行有机结合时，可以得到数据挖掘系统。
　　2 数据挖掘的作用
　　2.1 数据挖掘在金融业中的作用。在金融领域，数据量是非常庞大的。如银行、证券公司等交易数据都是非常巨大的。因此，可以利用数据挖掘来分析客户的信誉，防止信用卡欺诈行为的发生。典型的金融分析领域有投资评估和股票交易市场的预测。
　　2.2 数据挖掘在商业上的作用。在商业领域，尤其是零售业，数据挖掘的作用显得更加重要。由于MIS和码技术的普遍使用，有大量的有利于购买情况的数据，并且数据量以惊人的速度在激增。那么经营管理人员可以利用数据挖掘技术来作出正确的决策，有助于提高市场竞争力。
　　2.3 数据挖掘在医学中的作用。在医学上，可以利用数据挖掘技术进行分子制药或治疗诊断，以提高效率和经济效益。在药物合成方面，可以利用数据挖掘来分析药物分子的化学结构，确定对病因发挥作用的原子或原子基因，在合成新药时，就可以根据新药的分子结构来确定该药的用途。
　　2.4 数据挖掘在其他方面的作用。在工业、农业、电信、交通、军事以及因特网等方面，数据挖掘正发挥着越来越重要的作用。
　　综合所述，在目前，数据挖掘中的算法以及可视化的作用显得越来越重要。因为从数据库中可以很容易地发现大量的显而易见的、无用的甚至对客户来说是无趣的模式，现在就是需要把显而易见的、无用的甚至对客户来说是无趣的模式进行过滤来提供给用户有用或有趣的模式的数据挖掘技术。而软计算方法的本质就是以快速、低成本的方法来解决复杂的问题，本文介绍的模糊逻辑、神经网络、神经――模糊、遗传算法、粗糙集和混合方法是常见的几种数据挖掘软计算方法。数据挖掘在实际中的应用也是非常广泛的，总之，随着数据挖掘理论研究的不断深入，数据挖掘将会发挥越来越重要的作用。
　　
　　参考文献：
　　[1]李仁璞、王正欧，《基于粗集理论和神经网络结合的数据挖掘新方法》[J].情报学报，2002（06）.
　　[2]温磊，《基于有向项集图的关联规则挖掘算法研究与应用》[D].天津大学，2004.
　　[3]吴成东、许可、韩中华、裴涛，《基于粗糙集和决策树的数据挖掘方法》[J].东北大学学报(自然科学版)，2006（05）.
　　[4]陈富赞、寇继凇、王以直，《数据挖掘方法的研究》[J].系统工程与电子技术，2000（08）.
　　[5]赵宇、戚国强，《数据仓库技术在水稻栽培管理决策支持系统中的应用》[J].东北农业大学学报，2006（04）.

[数据挖掘中涉及的计算方法及作用研究]数据挖掘 python

最新文章

热门文章