关键词： 数据挖掘   关联规则   模糊集   遥感数据  

摘要： 随着计算机技术的普及，商业、政府、企业中积存了大量的原始数据，迫切需要一种有效的从大规模数据库中发现有价值信息的工具和方法。数据挖掘，也称数据库知识发现，是从数据库中发现并提取新颖的、有效的、并能为人们理解的高级处理过程。 关联规则挖掘是数据挖掘中的一个重要问题，关联规则挖掘目的在于发现大量数据中项集之间有趣的关联或相关联系，从而生成关联规则。利用这些规则可以有助于发现交易数据库中不同商品(项)之间的联系等。本文的主要工作如下： 首先，对经典关联规则算法进行了分析并做出了改进。针对Apriori算法需要多次重复扫描数据库的缺点，利用非频繁项目集的超集是非频繁项目集这一性质，提出一种通过判断K维项目集的K-1维子集的个数来减少数据库扫描次数的方法。在FP-growth算法的基础上提出一种投影算法。当数据库很大时在构造FP-tree的过程中，由于将事务中的频繁项插入到FP-tree的过程是一个严格串行计算的过程，可能会造成性能上瓶颈。本文提出一种通过建立一个小数据库来存储临时节点的并行策略快速构造频繁模式树，提高了算法的效率，减少了不必要的开销。 其次，在对数据预处理方法研究的基础上提出一种基于模糊集和聚类的离散化方法。通过对数据进行均值聚类得到期望的中心簇，建立隶属函数。根据隶属函数对数量型数据进行转化，计算其隶属度，用最大值的语义来代替原先的数据，从而完成布尔型转化。该方法可以有效的解决属性划分时边界过硬的问题。 最后，对关联规则在遥感数据处理中的应用进行了讨论。随着遥感影像的应用越来越广泛，从海量数据的遥感影像中智能化提取有用信息正在被广泛地研究。本文利用模糊集、聚类、关联规则挖掘等技术对遥感数据进行分析挖掘，并生成关联规则。实验的结果证明该方法可以有效挖掘遥感数据中存在的关联规则。

关键词： 数据挖掘   统计分析   财政管理   S-PLUS   商业级   SAS   数据分析   数据处理   代理商   商人  

关键词： 数据挖掘   挖掘算法   挖掘结果   文本挖掘   信息展示/传递   报表应用  

摘要： 数据挖掘和文本挖掘是商业数据处理应用中比较有效的技术和方法,它们同时也是商业数据处理高端技术的代表,而数据处理结果的展示和传递则是商业数据处理的一个完整的解决方案所不可或缺的;另外这三个方面也是商业智能中应用最广泛的领域,成功实现了这三个方面的应用,也就构建和完善了商业智能应用的基本框架和商业智能应用解决方案的主体部分;而目前国内外的有关这三个方面的研究和应用仍存在较大探索空间。 本文对这三个方面进行了较深入而全面的研究和实践,在消化、吸收和应用各种(新)技术的基础上论述了实现这三个方面的应用的多种方法,提出了一个完整的解决方案,并以它们为应用范例来论述如何完善这三个方面的应用。 本文指出了目前数据挖掘研究和应用中的欠缺,例如应用中算法比较单一;对数据挖掘的概念和理论以及数据挖掘过程的理解仍不够深刻,甚至存在一些误解;对挖掘结果的理解、分析及应用不足。针对这些欠缺,本文择要论述了数据挖掘的理论、技术基础和相关概念以及它们之间的关系,对各种常见数据挖掘算法进行了分析和比较,论述了数据挖掘系统的选择原则,为数据挖掘应用提供了若干指导原则,并举例论述了数据挖掘与商业数据处理的其它应用的集成。 本文对文本挖掘预处理的若干重要技术、文本数据的分类和聚类挖掘、自动文摘以及文本挖掘的其它领域的技术和原理进行了较系统和深入的研究和分析,论述这些技术时本文前后呼应,并将其中的一些技术结合起来论述,理清了文本挖掘的思路。 本文提出了关于商业信息的展示和传递的5个重要的、亟待解决的问题。针对这些问题,本文论述了商业信息的展示和传递的多种技术、采用信息传递技术的策略,重点论述了SQL Server 2005的报表服务和通知服务的技术,这两种技术能够很好地支持商业信息的展示和传递的应用开发。 在对数据挖掘、文本挖掘以及商业信息的展示和传递的相关技术的理论分析的基础上,本文详细论述了对数据挖掘结果的理解和分析以及对挖掘模型的评估技巧;详细论述了实现文本挖掘的预处理、英文文本数据的分类挖掘、中文文本文档的自动分类以及英文文本数据的聚类挖掘的应用范例。本文以SQL Server 2005为开发工具(重点应用了其报表服务),结合微软的SharePoint服务、Windows域的应用和管理以及网站开发技术,开发了展示和传递商业信息的完整可行的应用系统。此系统经过实际运行与验证,达到了预定的目标,并解决了此领域存在的若干问题;该解决方案完全可以应用于很多机构的相关项目中。 本文的意义在于深化了对数据挖掘、文本挖掘以及商业信息的展示和传递的研究和应用,弥补了此前这些方面的不足,并为这些方面重新提出了研究热点。

关键词： 税收   税收工作   海量数据   数据分析   涉税事项   纳税人   财政收入   数据处理   数据挖掘   税务机关  

摘要： 许多省市自治区实现了省级集中与整合,全国国税系统每年数据量以TB级的速度增长。税务部门积累的海量数据,如果不加以挖掘利用,无疑是巨大的浪费。笔者从五个方面对税收数据挖掘工作进行了阐述。

关键词： 反洗钱   金融   财政金融   数据挖掘技术   洗钱活动   数据处理   数据分析   判定树   决策方法   决策树  

摘要： 亚洲开发银行评估我国洗钱数量每年不少于2000亿元人民币,约占我国GDP的2%。金融机构客观上最容易成为洗钱活动的主渠道,金融机构掌握先进的反洗钱技术十分重要。解决洗钱问题的技术难点在于:海量的数据操作、众多离散的系统、过去缺乏对支付的控制以及事后分析与预先分析系统的割裂,为此,急需建立并完善大额和可疑资金交易数据

关键词： 编码(程序设计)   数据格式   数据挖掘   数据处理   数据存储   定义   图形数据处理   图像文件   系统映射   图像   信息处理   情报检索   信息技术   联合图像专家组   绘制地图   元数据   图象描述信息   研究   检索   静止图象  

标准号: ISO/IEC TR 24800-1-2007

摘要： 1.1 Interoperable Image Search and RetrievalThis Technical Report specifies two things. The first is a framework for interoperability for still image searchand retrieval. The second identifies an architecture and the components in this framework, the linkagesbetween components, and which of these components and links are to be standardized in *** image search and retrieval framework will be determined by real use cases (tasks) and will leverage onlessons learnt in the long history of text retrieval where, for example, different users issuing the same querymay be looking for (very) different results. This is important because it means that the framework must begeneral enough to support many possible approaches to image retrieval, e.g., from using only low-level imagefeatures, to text annotations, to community input, or a mixture of such *** the framework and components, and the linkages and flow of data between them, the parts of JPSearchthat need to be standardized can be determined.1.2 MotivationThere are many applications that provide image search and retrieval functionality on computer desktops, onthe World Wide Web (i.e., websearch), on imaging devices, and in other consumer and professionalapplications. These implementations are characterized by significant limitations, including:? Lack of the ability to reuse metadata? Lack of a common query format and search semantics? Lack of a common format for handling context in searching1.3 Outline of the Technical ReportThere will be 7 clauses to this report. They are arranged as follows:Clause 2 provides definitions of terms and *** 3 reviews the traditional approaches to image search and from various examples, motivates theimportance of the user in the search process, the importance of making explicit the user task and userevaluation, and that meaning in images may be as much added from outside as extracted from the imageitself. This motivates the next clause, which are the real u

关键词： 隐私保护   数据挖掘   数据处理   特征重构  

摘要： 数据挖掘中的隐私保护方法研究，是近年来出现的一个新兴热门研究方向。它将数据挖掘技术与隐私信息保护技术相结合，试图在不精确访问原始数据详细信息的条件下，挖掘出准确的模式与规则。本文紧紧围绕数据挖掘中的隐私保护问题展开研究，主要研究内容和创新性成果包括以下五个方面：\n 1．提出了一个数据挖掘中隐私保护方法的KD<\'3>通用架构与流程为了提高数据挖掘中隐私保护方法的适用性和可扩展性，本文提出了一个通用的KD<\'3>(Knowledge Discovery in Distorted Database)架构，其基本流程由分析数据特征、确定隐私保护策略、进行数据处理、调整挖掘算法、实施特征重构和生成挖掘结果这六个步骤组成。在KD<\'3>架构的基础上，本文分别设计了针对不同数据类型、不同挖掘算法的数据处理和特征重构方法，并实现了关联规则挖掘中的隐私保护方法和朴素贝叶斯分类中的隐私保护方法。\n 2．建立了一套数据挖掘中隐私保护方法的评估指标体系为了更加有效的对数据挖掘中的隐私保护方法进行评价和选择，本文提出了一套包括隐私性、准确性、高效性和适用性，这四个方面的评估指标体系，以及相应的量化指标。隐私性是方法对隐私信息的保护程度；准确性是实际挖掘结果与真实结果之间的差异；高效性是计算所需的时间开销和空间代价；适用性则是方法所能应用的数据类型、数据分布和挖掘算法的范围。\n 3．分别针对布尔类型、枚举类型和数值类型的隐私数据，设计了一组数据处理和特征重构方法，即RRPH方法、ERRPH方法和TRR方法首先，为了提高对隐私信息的保护程度，相互弥补数据干扰和查询限制这两种隐私保护策略本身所固有的缺陷，本文将它们二者相结合，针对布尔类型的隐私数据，提出了一种部分隐藏的随机化回答(Randomized Response、with PartialHiding，简称RRPH)方法。然后，再将其所支持的隐私数据类型扩展到枚举类型，提出了一种扩展的部分隐藏随机化回答(Extended Randomized Response withPartial Hiding，简称ERRPH)方法；最后，为了支持对不同类型隐私数据的处理和特征重构，本文又专门针对数值类型的数据，提出了一种转换的随机化回答(Transforming Randomized Response，简称TRR)方法。这三种方法不但隐私保护的效果好，而且用于数据挖掘时的结果准确性高，还具有适用范围广和计算复杂度低等良好的特性。\n 4．分别基于数据处理和特征重构，实现了一种隐私保护的关联规则挖掘算法和一种隐私保护的朴素贝叶斯分类算法本文首先提出了一种基于RRPH的频繁项集生成算法，进而实现了关联规则挖掘中的隐私保护。理论分析和实验结果均表明，通过合理的参数选择，该方法可以在相同的时间开销和空间开销条件下，得到比原有方法更好的隐私保护程度和更高的挖掘结果准确性。然后，本文又提出了一种基于ERRPH和TRR的朴素贝叶斯分类算法，实现了分类挖掘中的隐私保护，并通过理论分析和实验结果，说明了随机化参数对隐私信息保护程度和挖掘结果准确性的影响。\n 5．提出了一种针对强相关属性的SRR数据处理和特征重构方法．本文采用集合同步变换的策略，针对强相关属性，提出了一种集合同步变换的随机化回答(Set-based Randomized Response，简称SRR)方法。在进行数据处理和特征重构的过程中，既保持了相关属性之间的内在联系，又达到了对隐私信息有效保护的目的。\n 本文还实现了一种基于SRR的关联规则挖掘算法，并通过理论分析和实验结果说明了，关联规则中基于SRR的隐私保护方法能够得到比原有方法更准确的挖掘结果。

关键词： 数据挖掘   数据处理   数据库语言   定义   信息交换   信息技术   多媒体   结构化查询语言  

标准号: BS ISO/IEC 13249-6-2006

摘要： ISO/IEC 13249 defines a number of packages of generic data types common to various kinds of data used in multimedia and application areas, to enable that data to be stored and manipulated in an SQL database. This part of ISO/IEC 13249 a) introduces the data mining part of ISO/IEC 13249, b) gives the references necessary for this part of ISO/IEC 13249, c) defines notations and conventions specific to this part of ISO/IEC 13249, d) defines concepts specific to this part of ISO/IEC 13249, e) defines data mining user-defined types and their associated routines. The data mining user-defined types defined in this part adhere to the following. — A data mining user-defined type is generic to data mining data handling. It addresses the need to store, manage and retrieve information based on elements such as data mining models, data mining settings, and data mining test results. — A data mining user-defined type does not redefine the database language SQL directly or in combination with another data mining data type.

关键词： 朴素贝叶斯分类器   数据挖掘   数据处理   缺失数据   数据库   医疗数据集  

摘要： 数据挖掘致力于从大型数据库中挖掘有价值的信息。然而，现实世界中的数据集往往不可避免地含有一些缺失数据。这使得数据挖掘算法的性能下降，甚至影响到知识发现的有效性。本文主要研究缺失数据的处理技术，并提出一个有效可行的缺失数据处理模型，朴素贝叶斯归因模型(NBI)。\n 通过缺失数据灵敏度分析发现，数据集中的缺失数据对分类器的预测准确率有明显的不利影响。在各种分类器中，朴素贝叶斯分类器对缺失数据最不敏感，适用于建立缺失数据归因模型。\n 在简单阐述了目前流行的缺失数据处理方法之后，本文提出了一种基于朴素贝叶斯分类器的新缺失数据处理方法——NBI模型。首先，确定需要进行归因的属性，然后将归因属性作为目标属性，利用数据集中的其他属性建立NBC分类模型，将归因问题转换为分类问题。最后，利用已建立的NBC模型预测归因属性中的缺失值，并用预测值替换缺失值，完成归因过程。\n 选取归因属性需要考虑两个方面：属性所含缺失数据的比例和属性对数据挖掘任务的重要程度。属性对数据挖掘任务的重要程度可以由基于信息增益的属性重要因子或基于决策树结构的属性重要因子确定。根据归因过程中的归因顺序相关性，NBI 模型可以分为三大类策略：顺序无关策略、顺序相关策略和混合策略。NBI 模型根据属性缺失数据率和属性重要因子相互加权来确定归因顺序。本文还通过基于决策树结构的属性选择策略来改进贝叶斯分类器预测准确率，从而提高了 NBI 模型的性能。本文在多个数据集上对 NBI 模型的不同策略进行了测试。实验发现，在所有缺失数据都需要处理的情况下，顺序无关策略是一个很有竞争力的策略。与其他缺失数据处理方法相比，NBI 模型的性能优于流行的均值/众数归因法和C4．5内置模型。而且随着缺失比例的上升，NBI 模型的优势更为明显。\n 最后，本文将研究成果应用于医疗数据集Clinics，并取得了良好的效果。NBI模型对提高病人住院持续时间(LOS)的预测准确率有显著作用，尤其是中期和长期的预测准确率有明显的提高。在 NBI 模型的众多策略组合中，仅对重要归因属性运用 NBI 模型进行归因，其效果要优于对全部归因属性进行 NBI 归因处理。

关键词： 数据挖掘   数据处理   期望最大化算法   数据模型   参数估计  

摘要： 将不完全数据分为了两类:属性值残缺和属性值隐含。对基于这两类不完全数据的数据挖掘方法分别进行了探讨,给出了相应的处理方法,并对这些方法及其应用进行了讨论。属性值残缺的处理主要采用一系列“补漏”的方法,使数据成为完全数据集;属性值隐含的处理则通过EM算法来优化模型的参数,弥补数据的不完全性。