数据挖掘主要新技术

信息分析与预测


教师：苏敏

电话：82519545

E-mail:[e-mail]








本课程的目的


通过对信息分析与预测这门课程的基本概念、基本流程以及信息分析与预测的各种方法的学习，让学生可以了解信息分析与预测的作用，掌握信息分析与预测的方法,培养学生对信息资源收集、分析和预测的能力，为今后实际的科学研究和决策工作打下一定基础。










本课程的基本内容


绪论
课题选择
信息搜集
信息分析与预测产品
信息分析与预测的方法
专利信息分析方法
竞争情报信息分析方法







本课程的学时安排


20学时的课堂讲授
4学时的上机实习
上机实习的地点：图书馆三楼的电子文献阅览室







国内主要参考书








第一章 绪论








1.1 信息的定义


《辞海》 “信息，消息。”
《韦氏字典》（美国）：“信息是用以通信的事 实，是在观察中得到的数据、新闻和知识”
信息论创始人香侬（C.E.Sannon）认为：“信息是用来消除随机不确定性的东西”
法国物理学家布里渊（L·Brillouin）认为："信息是原材料，知识是思维对信息的加工的产物"
甘仞初在《管理信息系统》中把事物之间相互联系、相互作用的状态的描述，称为信息。







1.1 信息的定义


目前大家普遍接受的定义是：“信息是客观存在的一切事物通过物质载体所发出的消息、情报、指令、数据和信号中所包含的一切可传递和交换的内容。”







1.2信息分析与预测的定义


信息分析与预测的定义来源
信息分析和信息预测的定义
信息分析与信息预测的关系
信息分析与预测定义的深层次理解







1.2.1信息分析与预测定义的来源


我国信息分析与预测来源于---“情报研究”

情报研究通常指文献情报的分析与综合的过程，即对反映一定时期某一课题领域进展情况的文献情报进行分析和归纳，并以研究报告等多种形式提供的专题情报或系统化的浓缩情报,满足用户或读者的专门需要,或全面了解该领域的现状和发展趋势的需要。







1.2.1信息分析与预测定义的来源


20世纪70年代起，随着“信息”一词日益被人们接受，使用的范围日益广泛，情报研究在研究对象、研究内容、研究方法和手段上与传统的情报研究相比都有了很大的不同，如果仍然用“情报研究”概括之，则不仅很难反映新形势下这门学科的本来面目，而且很容易成为学科继续向前发展的障碍。另外，从国际大视野来看，为了便于进行国际间学术交流和合作的角度出发， “情报研究”一词逐渐被“信息分析与预测”取代了。尽管也有人提出用“情报分析”或“情报分析研究”来代替“情报研究”，但从总体上看， “信息分析与预测”使用的更为普及和广泛。








1.2.2信息分析和信息预测的定义





☆信息分析




☆信息预测



信息分析要运用科学的理论、方法和手段，在对大量的（通常是零散、杂乱无章的）信息进行加工整理与价值评价的基础上，透过由各种关系交织而成的错综复杂的表面现象，把握其内容本质，从而获取对客观事物运动规律的认识。


信息预测就是“鉴往知来”，即以事物过去已知信息的分析结果为依据，参照当前已经出现或正在出现的各种情况，运用情报学的、现代管理的、数学的和统计的方法以及现代信息技术，对事物的未知和未来状态进行科学的预计和推测。








1.2.3信息分析与信息预测的关系


信息分析是信息预测的基础
信息预测是信息分析的拓展和延伸
信息分析和预测是交叉往复的过程







1.2.4 定义的几点理解


对信息分析与预测概念的理解


对这一概念的理解，可以从构成这一定义的几个要素来进行：
① 从成因来看，信息分析与预测的产生是由于存在社会需求。

② 从来源来看，信息分析与预测以占有大量的已知信息为基础。

③ 从性质来看，信息分析与预测是一种信息深加工活动。

④从方法来看，信息分析与预测广泛采用现代化的信息技术手段和多领域的科学的方法。

⑤从过程来看，信息分析与预测都需要经过一系列相对程序化的环节。

因此，信息分析与预测是对各种相关信息的深度加工，是一种深层次或高层次的信息服务，是一项具有研究性质的智能活动。








信息分析与预测的主要环节


课题选择


Step1


信息产品制作和利用


Step4


信息整理和分析、预测


Step3


信息搜集


Step2








1.3 信息分析与预测的功能


从信息分析与预测的整个工作流程来看，信息分析具有整理、评价、预测和反馈四项基本功能。

整理功能体现在对信息进行收集、组织，使之由无序变为有序；
评价功能体现在对信息价值进行评定，以达去粗（取精）、去伪（存真）、辨新、权重、评价、荐优之目的；
预测功能体现在通过对已知信息内容的分析获取未知或未来信息；
反馈功能体现在根据实际效果对评价和预测结论进行审议、修改和补充。







1.4 信息分析与预测的作用


信息分析与预测的基本功能决定了其在国民经济和社会发展中将发挥重要作用。

在科学决策中发挥参谋和智囊的作用
在R&D中担负助手的作用
在市场开拓中起到保障和导向的作用







1.5信息分析与预测的特点


研究方法的科学性


研究工作的近似性


研究领域的广泛性


研究内容的系统性


研究成果的智能性


研究课题的针对性








1.5信息分析与预测的特点


研究课题的针对性：
一研究课题来源和研究本身具有目的性，即研究人员要根据社会需要和特定的委托，确定研究课题和研究目标；二是最终产品对用户的适用性，例如，在产品的内容、 制作方式和传递渠道上适合特定用户在不同的场合、实际的情况需要。









1.5信息分析与预测的特点


研究领域的广泛性：
科学技术领域

经济领域

社会领域

军事领域

人物领域

其它领域
























1.5信息分析与预测的特点


研究内容的系统性：
信息分析与预测工作通过对信息要素的加工整理，可以使分散的、片面的、无序的、零星的知识系统、有序和完整。这种系统性是从纵、横两方面来实现的。从纵的方面来看，要将有关课题的来龙去脉、发展经过、当前水平、存在问题、未来趋势等，按时间顺序进行研究，以掌握课题发展的全貌。从横的方面来看，要用系统工程的观点对课题有关的政治、经济、社会、科技、军事等各个方面的问题进行综合考虑。










1.5信息分析与预测的特点


研究方法的科学性：
采用科学的研究方法。在具体研究工作中，使用包括数学方法、逻辑方法、情报学、管理学等多种定性、定量研究方法。
数据的客观性和结论的准确性。信息分析是以大量文献资料为对象的，它们客观地记录了各种数据和事实。根据这些客观事实和数据，信息分析人员进行客观分析，通过辨别真伪、去粗取精、去伪存真，从而得出正确的结论。







1.5信息分析与预测的特点


研究工作的近似性：
信息分析与预测是在事件发生之前对其未来状态的预计和推测，或者是对已发生事件的未知状态的估计和推断。这些估计和推断，尽管有科学的依据、科学的态度和科学的方法作基础，但毕竟是简约化后对事物发展变化实际情况的一种近似反映。








1.5信息分析与预测的特点


研究成果的智能性：
信息分析与预测工作 要求信息研究人员具有较高的智能和知识水平、敏锐的观察力与准确的判断力，在工作中能运用智力劳动进行卓有成效的工作。信息分析与预测是对各种相关信息的深度加工或高层次的信息服务，是一项具有研究性质的智能活动，信息分析与预测工作具有鲜明的创造性，并 具有重要的社会价值。








1.6信息分析与预测的产生与发展趋势


信息分析与预测首先产生于科技领域，是科技、经济和信息工作发展到一定阶段的产物

从15世纪资本主义萌芽到19世纪，常被称为近代科学技术时期。哥伦布、麦哲伦的地理大发现以及文艺复兴运动，对欧洲科学技术的发展起了极大的促进作用，但这一时期的科学研究以分散的个体自由研究为主要特征，虽然各个研究者自发形成了一些学术团体，创办了一些学术期刊，但是总体上科学信息的传播交流基本上都是自发进行的，科学信息工作还只是科学研究工作的微不足道的组成部分。







达芬奇设计的自行车








1.6信息分析与预测的产生与发展趋势


从19世纪到第二次世界大战前夕，这一时期被称为现代科学技术发展的前期。随着科学技术的发展，学科分支增加，研究课题复杂，使得科学研究趋向于有组织的集体研究；同时文献数量迅速增加，研究人员开始感觉到资料收集的困难，使得文摘刊物应运而生。自1830年德国《药学文摘》创刊到1940年美国《数学评论》的问世，从事科技信息的整理加工和编写报道等二次文献的出版机构纷纷成立，以提供文献检索服务为主题的世界上权威性的涵盖各知识门类的检索期刊体系已被完整确立，信息分析与预测工作开始出现萌芽







1.6信息分析与预测的产生与发展趋势


第二次世界大战之后，现代科学技术进入飞速发展时期，即所谓“大”科学时代。独立的科技信息工作机构开始登场。科技信息工作机构的一个重要任务就是将众多的各种文种、各种载体、分散重复的文献整理加工，并且对其内容进行深入分析、综合、评价和预测，这一工作的出现具有划时代的意义，表明了科技信息工作进入了一个新的阶段。







1.6信息分析与预测的产生与发展趋势


20世纪中期以来信息技术迅猛发展从根本上改变了传统信息服务的技术手段。70年代以后全面使用的计算机与远程通信技术的结合，为现代化信息服务业务的开展创造了必要的技术条件，将信息服务推进到网络化组织时代。同时，整个世界呈现出科技、经济、社会一体化发展的趋势，如此，信息分析开始从科技领域向其他领域渗透。







1.6信息分析与预测的产生与发展趋势


为了满足社会各阶层多样化的信息需求，除科技信息外，技术经济信息、市场信息、社会信息、政治军事信息等都开始成为信息分析的对象。在这些全方位的信息分析领域，研究者不断形成和完善各种新的分析方法，深化信息分析内涵，增加分析结果的准确性，使得信息分析成果的质量得到极大的提高。这样一来，作为信息服务业的一个重要分支，信息分析与预测才真正诞生了。







1.6.1国外信息分析与预测概况


信息分析与预测活动在国外比较普遍，从事这一活动的多为一些专业化的机构和团体，包括政府机构、工商部门、信息服务单位、科学研究机构、行业协会和社会团体，其中尤以专业化的信息预测机构居多，如美国的兰德（Rand）公司和斯坦福国际咨询研究所、日本的野村综合研究所、英国的伦敦国际战略研究所等。







1.6.1国外信息分析与预测概况


美国
美国开展信息分析与预测活动比较早。1940年战略情报局（今美国中央情报局的CIA前身）成立，1946年兰德公司和斯坦福国际咨询研究所成立。从机构性质来看，大多数颇有名气的机构为软科学机构,有时也称为思想库（Think Tanks）。








1.6.1国外信息分析与预测概况


美国信息分析与预测活动的领域非常广泛，上至施政大纲、经济发展，下至产品营销、市场调研，几乎无所不包：

编写评价性、分析性的综述。
编写动态信息。
搜集其他国家潜在能力和意图的信息。
了解情况、分析形势、出谋划策、提供对策，充当政府机构、重要财团的幕后决策机构或者咨询机构。
提供政策、管理、科技、技术、工程等咨询服务。







1.6.1国外信息分析与预测概况


美国兰德公司是以研究空中力量和国家安全问题起家的，成立于１９４８年，半个多世纪以来，它已成为当今世界最负盛名的信息分析与决策咨询机构。目前研究领域扩展到内外政策方面，逐渐发展成为一个研究政治、军事、经济、科技和社会等各方面的综合性思想库，被誉为现代智囊的“大脑集中营”、“超级军事学院”，以及世界智囊团的开创者和代言人。







1.6.1国外信息分析与预测概况


５０多年来，兰德公司的研究人员从３００多人发展到目前的１０００多人，其中约５００名是各方面的专家，其中专门研究战略问题的就有２００余人。此外，兰德公司还在各大学、研究机构中聘请了７００名专家，作为高级顾问。如美国尼克松政府时期的国务卿基辛格，从１９６０年到１９６８年一直是兰德公司的顾问。







1.6.1国外信息分析与预测概况


著名的德尔菲（Delphi)法首创于该公司。1964年，该公司赫尔默（Helmer)和戈登（Gordan）发表了《长远预测研究报告》，首次将德尔菲法应用于技术预测。特尔斐法是一种直观的定性预测法，目前全球多种预测方法中使用比例最高的一种。







1.6.1国外信息分析与预测概况


美国另一家著名的信息预测机构是斯坦福国际咨询研究所，成立于1946年。该所原隶属于斯坦福大学，后分离出来，专门从事包括科技预测在内的多学科综合分析研究。目前该所拥有研究人员3000人左右，设有工程研究、科学、国际管理和经济组。该所创立了一个方法系统，即从大量的出版物中进行“扫描”，由“扫描者”摘要提供给分析委员会，分析委员会总结后提交给指导委员会，指导委员会在分析研究后向有关方面提供信息产品。







1.6.1国外信息分析与预测概况


日本
日本的信息分析与预测活动一般称为情报调查。主要机构有像日本最大的国家级情报机构----日本科学情报中心以及日本信息科学技术协会、日本贸易振兴会、综合证券研究所等。

日本的情报调查活动体现在下述五个方面：








1.6.1国外信息分析与预测概况


科技政策研究，主要任务是对科技政策的基础性问题进行广泛而综合的研究。
技术动向分析。
国际技术跟踪。例如日本企业常驻美国硅谷监视其最新技术进展的开支，每年达3000万美元。
全球性证券金融经济性问题研究。例如野村综合研究所的主要任务是进行全球性证券金融研究，其政策研究中心主要研究国际金融、经济，国内公共政策、产业政策、技术政策等等。
围绕企业竞争所展开的技术、经济、金融情报调查。







1.6.1国外信息分析与预测概况


国外还存在着与“信息分析与预测”相关的其他概念：


“信息浓缩（Information Consolidation）”是联合国向发展中国家推广的一种信息加工活动，以便他们更好地利用世界各国的文献。这类活动的基本特点是对相关文献进行评价和压缩，以便向用户提供实用、可靠和简洁的信息。


“工商情报（Business Intelligence）”是欧美国家工商企业中广泛存在的一类情报研究活动，它的基本做法是将与企业发展有关的方针政策、服务对象、竞争对手、技术动向、市场行情等信息经过分析、消化、评价和解释转化为在本企业内传播的情报，为企业的营销和决策服务。







1.6.1国外信息分析与预测概况


“数据分析（Data Analysis）”是指为他人从事来自图书馆、计算机文档或其他数据库的信息进行分析和评价，由此提供的信息产品比一般文摘或计算机输出具有更好的加工深度。在美国从事此项工作的人员包括分析专家、信息顾问、研究助理和各类专业分析师。
“数据处理（Data Processing）”主要是指对社会、经济数据进行搜集，经过初步鉴别，去除无用信息，将原始信息有序化或对他们做量化处理。这种信息分析技术简单，没有更多的推论，可称为描述性信息分析，但在市场信息分析中，它却是最常见的方法。如市场调查公司为企业进行调研，最后提交的信息分析结果多数是此类描述性分析结果。







1.6.1我国信息分析与预测概况


我国的信息分析与预测工作也首先从科技领域发端，是与国家科技信息工作紧密联系、共同发展的。它大体上经历了四个发展时期：







1.6.1我国信息分析与预测概况


1956-1966年的产生和初步发展时期
1956年，中国科学院正式成立了我国第一个科技情报机构----中国科学院科学情报研究所，后更名为中国科学技术情报研究所，标志着我国的科技情报工作已经正式成立。到60年代初，全国绝大部分省市和专业部（委）都先后建立了科技情报研究所，另外，有相当一部分企业和事业单位也建立了相应的科技情报机构，我国初步有了比较完整的国家科技情报结构体系。








1.6.1我国信息分析与预测概况


1966-1976年的停滞时期
1976-1992年的恢复和重新发展时期
情报研究进入了广泛的社会领域，成为各级各类科学决策、R&D和市场开拓活动的重要依据。
传统的全盘无偿信息服务模式被打破







1.6.1我国信息分析与预测概况


1992年以后的发展新时期
1992年，第八次全国科技情报工作会议在北京召开，会议决定将“科技情报”改为“科技信息”,原有的科技情报机构陆续更名为科技信息机构。另一方面，一些社会化信息机构（如信息咨询公司）在这一时期也如雨后春笋般地大量涌现，这些机构基本上按照市场和用户的要求开展信息分析与预测服务，成为主导力量。








1.6.2信息分析与预测的发展趋势


技术手段日益现代化
产业化步伐不断加快
从业人员的素质要求提高
国际化趋势日益显著







1.6.2信息分析与预测的发展趋势


技术手段日益现代化
信息分析与预测软件系统
如：统计分析软件SPSS、SAS

数据库技术
在信息分析与预测过程中，所采集的信息量有量大、面广的特点，数据库技术是信息管理技术的核心，迄今已有四十多年的历史。例如美国兰德公司在“美苏技术分析比较”课题中开发的前苏联强电流粒子束数据库，剑桥市战略规划研究所建立的企业经营和竞争数据库等。








1.6.2信息分析与预测的发展趋势


另外，与数据库技术密切相关的面向复杂的信息分析与预测以及高层次决策支持的数据仓库、联机分析处理技术和数据挖掘技术也日渐成熟。







数据库技术应用趋势


File System


OLAP/SQL enquiry tools


1960


1980


1990


1995


2000


Database


SQL Query


Data Warehouse


Data Mining


2004








Decision Trees

Neural Networks

Rule Induction

Nearest Neighbor

Genetic Algorithms


数据挖掘主要新技术


决策树

神经网络

规则侦测

序列规则

基因算法








神经网络


线性回归


Logistics回归


多层神经网络


细胞繁殖








数据挖掘技术分类


数据挖掘


验证驱动挖掘


发现驱动挖掘


SQL


SQL生成器


查询工具


OLAP


描述


预测


可视化


聚类


关联规则


顺序关联


汇总描述


分类


统计回归


时间序列


决策树


神经网路








问题描述：如何决定超市中商品的摆放来增加销售额
结果描述:(Web图）


数据挖掘的典型结果——交叉销售








1.6.2信息分析与预测的发展趋势


开发利用网络资源
互联网拥有信息和服务两方面的优势，资源既包括基本信息服务资源，如E-mail、FTP、BBS、Blog等，也包括搜索引擎Google，百度等。










1.6.2信息分析与预测的发展趋势


产业化步伐不断加快
信息分析成果的商品化引发了一系列产业连带效应，促使信息分析活动在服务方式、服务内容、管理体制等方面迅速与市场接轨，整体向产业化方向发展。

在当今市场经济的大环境中，信息分析业务的经营必然是走向产业化。从国外的发展经验看，像美国兰德公司、日本野村综合研究所、英国伦敦国际战略研究所等信息分析机构都已经实现了规模经营，产业化程度很高。目前国际市场上信息咨询服务市场的规模持续扩大，其中有很大一部分来自信息分析领域，这种产业化的趋势今后还将更加明显。









1.6.2信息分析与预测的发展趋势


从业人员的素质要求提高
一方面内容领域的综合化要求工作人员具有系统性思维能力，另一方面行业服务的特点要求具有一定的创新思维。








1.6.2信息分析与预测的发展趋势



爱德华·德·波诺的创新思维：六顶思考帽
——平行思维法

平行思维是一个管理我们思维本身的一种方法。它将我们的思维从不同侧面和角度进行分解，分别进行考虑，而不是同时考虑很多因素。










1.6.2信息分析与预测的发展趋势


纯洁的白色，纯粹的

事实、数据和资料


红色代表恰当的情绪，

预感和直觉。


负面判断、为什么它

行不通，逻辑和批判。


阳光、明亮和乐观，

肯定、建设和机会


肥沃、有创意，植物

由种子产生，代表

创新和冒险


冷静的颜色，系统

和控制。









六种思考规则可以由你选择。
六顶帽子不是对思考者的分类
每个思考者应该会用所有的帽子
每种帽子都有限定的时间，不能无限制的使用。
帽子系统进行多次使用。



六顶思考帽








1.6.2信息分析与预测的发展趋势


国际化趋势日益显著
随着现代信息技术的发展，尤其是Internet的出现，使得信息分析领域不断扩大，为各国之间信息分析研究的横向联合、协作奠定了基础。

信息分析交流合作的国际化体现在信息分析服务范围的国际化和研究交流的国际化两个方面。

排名全球前三位的管理咨询公司安德森咨询公司、库泊斯-利布立德管理咨询服务公司和麦肯锡公司的服务收入中分别有52%、60%和57%来自分散在国外的服务分支机构。











本章思考题


如何理解信息分析与预测这一概念？
信息分析与预测的功能有哪些？
信息分析与预测的特点是什么？
简述信息分析预测的发展趋势。







谢谢