登陆注册
13117000000012

第12章 数据存储与数据挖掘(4)

1.多媒体数据库

音频、图像、视频等多媒体数据已逐渐成为信息领域的重要表现形式。音频、视频的数据量很大,要从多媒体数据中找出所需要的数据和信息有一定的困难。目前,对多媒体数据的处理往往局限于存取、编辑、集成、快进快退等基本操作上,对多媒体信息的检索一般依据文件标识、关键字等进行,局限性很大。基于内容的多媒体检索,通过实例的查询方式,检索相似图像、音频、视频信息,已成为研究的热点,基于内容的音频、视频信息的聚类、分类、相似性查询等数据挖掘技术正在兴起。

2.空间数据库

空间数据库存储了大量与空间有关的数据,例如地图,预处理后的遥感或医学图像数据,以及VLSI芯片设计数据等:空间数据库有许多与关系数据库不同的特征。空间数据库包含了拓扑或距离信息,通常按复杂的、多维的空间索引结构组织数据,其访问是通过空间数据的访问方法,常用空间推理、地理计算和空间知识表示技术。空间数据挖掘是指在空间数据库中非显式存在的知识、空间关系或其他意义的模式等的提取,它需要综合数据挖掘和空间数据库技术。目前在GIS中得到广泛的应用,空间数据挖掘的方法主要有归纳方法、聚集方法、统计信息网格算法(STING)以及空间聚集和特征邻近关系采掘等。

3.文本数据库

一般认为,数据挖掘的大部分研究主要针对结构化的数据,如关系的、事务的数据川。然而在现实世界中,可获取的大邻分信息存储在文本数据库中,由新闻、论文、书籍、数字图书馆、电子邮件消息等各种数据源的大量文档组成。文本数据库中存储的数据一般是半结构化的数据,也可能包含大量的非结构化的成分。传统的信息检索技术已不适应日益增加的大量文本数据处理的需要,而用户需要知道不同文档的比较,以及文档的重要性和相关性排列,或需要找出多文档的模式或趋势。文本挖掘不仅仅是把统计模型应用到数据文件上,而且是揭示文本集合之间的联系。特别地,联机文本挖掘指把网上的文本数据仔细搜寻一遍并从中获得一些信息,目前是通过互联网的搜索和文本分析方法实现。

4.Web数据库

Web数据库是Web和数据库技术的有机结合,是一个庞大而复杂的数据库,其存储数据的最大特点就是半结构化。Web上的每一个站点就是一个数据源,每一站点的信息和组织都不一样,形成了一个巨大的异构数据库环境。Web数据挖掘技术首要解决半结构化数据源模型和半结构化数据模型的查询与集成问题,这就必须要有一个模型来清晰地描述Web上的数据。针对Web上的数据半结构化的特点,寻找一个半结构化的数据模型是解决问题的关键所在,另外,还需要一种半结构化模型抽取技术,即自动地从现有数据中抽取半结构化模型的技术。XML可看作一种半结构化的数据模型描述语言,将XML的文档描述与关系数据库中的属性一一对应起来,实施精确地查询与模型抽取。显然,面向Web的数据挖掘比一般的数据挖掘要复杂得多。

3.4.4数据挖掘的方法

1.神经网络方法

神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题,因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类:以感知机、bp反向传播模型、函数型网络为代表的,用于分类、预测和模式识别的前馈式神经网络模型;以hopfield的离散模型和连续模型为代表的,分别用于联想记忆和优化计算的反馈式神经网络模型;以art模型、koholon模型为代表的,用于聚类的自组织映射方法。神经网络方法的缺点是“黑箱”性,人们难以理解网络的学习和决策过程。

2.遗传算法

遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法,是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其他模型结合等性质使得它在数据挖掘中被加以应用。

sunil已成功地开发了一个基于遗传算法的数据挖掘工具,利用该工具对两个飞机失事的真实数据库进行了数据挖掘实验,结果表明遗传算法是进行数据挖掘的有效方法之一。遗传算法的应用还体现在与神经网络、粗集等技术的结合上。如利用遗传算法优化神经网络结构,在不增加错误率的前提下,删除多余的连接和隐层单元;用遗传算法和bp算法结合训练神经网络,然后从网络提取规则等。但遗传算法的算法较复杂,收敛于局部极小的较早收敛问题尚未解决。

3.决策树方法

决策树是一种常用于预测模型的算法,它通过将大量数据有目的分类,从中找到一些有价值的,潜在的信息。它的主要优点是描述简单,分类速度快,特别适合大规模的数据处理。最有影响和最早的决策树方法是由quinlan提出的著名的基于信息熵的id3算法。它的主要问题是:id3是非递增学习算法;id3决策树是单变量决策树,复杂概念的表达困难;同性间的相互关系强调不够;抗噪性差。针对上述问题,出现了许多较好的改进算法,如schlimmer和fisher设计了id4递增式学习算法;钟鸣,陈文伟等提出了ible算法等。

4.粗集方法

粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点:不需要给出额外信息;简化输入信息的表达空间;算法简单,易于操作。粗集处理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统,为粗集的数据挖掘奠定了坚实的基础。但粗集的数学基础是集合论,难以直接处理连续的属性。而现实信息表中连续属性是普遍存在的。因此连续属性的离散化是制约粗集理论实用化的难点。现在国际上已经研制出来了一些基于粗集的工具应用软件,如加拿大regina大学开发的kddr;美国kansas大学开发的lers等。

5.覆盖正例排斥反例方法

它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子,到反例集合中逐个比较。与字段取值构成的选择子相容则舍去,相反则保留。按此思想循环所有正例种子,将得到正例的规则(选择子的合取式)。比较典型的算法有michal-ski的aq11方法、洪家荣改进的aq15方法以及他的ae5方法。

同类推荐
  • 20几岁必须要知道的经济学常识

    20几岁必须要知道的经济学常识

    《20几岁必须要知道的经济学常识》将主要讲述人们在日常生活中会遇到的身边经济事,以那些与我们的利益息息相关的民生、消费、职场、情感、理财、博弈、金融贸易等方面的事例为切入点,并和大家一起来分析解读这些事例后面隐藏的经济学现象和经济学原理。
  • 中国转轨时期所有制:结构演进的制度分析

    中国转轨时期所有制:结构演进的制度分析

    本书立足于中国经济结构转轨的实际,从制度视角分析所有制结构的演进,对生产资料所有制的定义、性质、划分、公有制和私有制的辨证关系、制度构建等方面作了阐述。
  • 创业投资制度创新论

    创业投资制度创新论

    本书揭示了创业投资的起源、创业投资之区别于传统投资的制度创新优势以及创业投资运作的内在机理;论述了信托制度、有限合伙制度和公司制度对创业投资基金的适用性等内容。
  • 世界上最有趣的经济学故事

    世界上最有趣的经济学故事

    为什么女人的衣服扣子在左边,而男人的却在右边?为什么牛奶装在方盒里,而可乐却装在圆瓶子里?
  • 在日常小事中培养自己的经济头脑

    在日常小事中培养自己的经济头脑

    本书通过一些典型的整合,阐述了如何在日常小事中培养经济头脑,说明了只有善于观察和发现,才能培养出敏锐的经济头脑。
热门推荐
  • 邪王爱妻:千金小姐变废柴

    邪王爱妻:千金小姐变废柴

    她,逆从天下,对待敌人残忍至极,却在亲人面前懂得隐藏自己的感情。她莫独妍,终身狂傲天下,负得第一,即使轮生变成废柴,而谁又能耐何她。身在陌生的环境,她毫不惧怕,绝美重生的她,大陆变动便在这一刻开始。
  • 二十几岁要懂的人生经验

    二十几岁要懂的人生经验

    针对二十几岁年轻人的生存现状和容易犯的错误,以有趣的故事和生动的说理阐明年轻人需要懂得和掌握的人生道理。这上百条行之有效的人生经验,内容涉及生活的各个方面,包括人生目标的设定、说话办事的学问、朋友圈子的经营、工作生活的平衡等,为处世不深的年轻人提供有效的参考,从而掌握好生存的法则,在成功的道路上健步如飞。
  • 谁人能被岁月温柔以待

    谁人能被岁月温柔以待

    入社会之门,品人生百态。讲述一个刚走出高中校园的青年故事,不长不短,或许他最后会成功,或许最后他混的很凄惨。但是大家别急,且看他一路走来的经历与心理历程。生活现实的不需要文采也能让大家描绘的多姿多彩,有时候你低头百花正开,你一抬头乌云就来。看就看,谁人能被岁月温柔以待!
  • 网游之荣耀军团

    网游之荣耀军团

    《神话世界》荣耀之路,争端再起…风起云涌,黑夜杀神…神级刺客,荣耀军团…兄弟,爱情,一样都不会少…一切尽在网游之荣耀军团……一起加入荣耀军团吧!!奋斗艾泽拉斯!!(本书已经签约,大家可以养起来了,多多收藏,多多推荐哦!谢谢啦!)
  • 九尾龟

    九尾龟

    在十二集一百九十二回的鸿篇巨制里,作者以酣畅淋漓的笔墨,描写了妓女、流氓、帮闲、腐吏、商贾、戏子等形形色色的人物,叙述了刁妓讹诈、庸臣弄权、官商勾结、公报私仇等奇奇怪怪的事件,深刻刻画了中国近代都市生活的众生相,充分反映了晚清社会政治的黑暗与腐败,具有一定的批判现实意义。作品语言典雅、情节曲折,那时而出现的吴语方言,又极生动地把人物的神韵表现出来。
  • BOSS女人很危险!

    BOSS女人很危险!

    她是清纯兼具妖娆的舞女,也是警局派出去的卧底警花。为了破案,她潜伏到了阎啸天的身边。什么?要被吃豆腐?为了任务,她忍!还要假装深爱上他?为了任务,她继续忍!可是,付出的真心没办法用理智来牵制……“头儿,怎么办?我好想真的爱上那个流氓头子了。”怎么办?凉拌!管他世俗怎么看,他是她唐梦瑶认定的男人!
  • 重生之天才炼丹师

    重生之天才炼丹师

    “啊?这是哪里,我不是死了吗”天乐奇怪的想着。难道我重生了。看着眼前的男子,天乐无奈的摇了摇头,最终还是被收服了啊?一个貌美如花,一个帅气惊人,两个人撞到一块,会擦出怎样的火花呢?
  • 比尔·盖茨给员工的8条准则

    比尔·盖茨给员工的8条准则

    比尔·盖茨从“最好最杰出”的员工身上找到并总结出了8个共同特征,即“熟悉自己所在的公司及产品”、“用传教士般的热情和执著打动客户”等。
  • 武道仙尊

    武道仙尊

    这是一个仙神、妖魔并存的世界,《武道仙尊》邀你修道成仙,得永生,……内容提要:仙器落凡尘,深藏万千年。一日得见天,卷走中华魂。踏上修仙途,行走风浪尖。杀妖魔,斩鬼雄,逆天行,我自逍遥天地间。(老书已完本,更新稳定,请放心收藏!)
  • 胭脂斩:奴妃很倾城

    胭脂斩:奴妃很倾城

    为你,绾发,为你,痴狂,为你,喝下你亲手熬煮的红花。那一刻,我心痛如绞,我问你,可曾爱我?你但笑不语,眼里只有那个风华绝代的女子。阿郎,我不想做你的奴。可是,我不做奴,我还有什么资格留在你身畔。阿郎,当我怀着他人的孩子,看着你与他人恩爱时,你可知道我心有多恨,此生与你相逢。