关键词： 恒星光谱   低质量光谱   大数据   数据挖掘   机器学习  

摘要： 由于天文望远镜各方面性能的提高,天文学的研究和发现有了飞速的发展,人类对宇宙的认识也随之有了很大的提高。随着数据的不断积累,天文学已经到了一个“数据雪崩”的时代。我国的郭守敬望远镜项目(The Large Sky Area Multi-Object Fiber Spectroscopic Telescope,LAMOST)和国外的斯隆数字巡天(Sloan Digital Sky Survey,SDSS)等大规模巡天项目都可以从宇宙中观测到海量的恒星光谱。然而,在这些恒星光谱中依然存在着大量难于处理的低质量数据。恒星低质量光谱的主要特征是噪声大、流量缺失、连续谱异常以及谱线特征不明显等。这些恒星低质量光谱当中存在着很多稀有恒星、未知天体等有价值的数据,并且它们的获取同样投入了大量的人力、时间和设备等资源。因此,对观测到的恒星低质量光谱数据进行处理和分析具有非常重要的意义。数据挖掘可以从大量的数据中发现符合条件的规则和模式,而机器学习则可以利用数据对已有的模式进行优化,因此数据挖掘和机器学习等相关技术在处理大数据方面有着天然的优势,越来越多的数据挖掘和机器学习方法被应用到巡天数据的处理及分析当中。但是恒星低质量光谱中存在着噪声等大量无用的信息,直接利用之前的方法进行处理所得到的结果往往存在很大的偏差,而且由于恒星低质量光谱处理起来比较困难,专门针对它们的算法比较少,相关的研究文献也比较缺乏。因此如何利用新的方法对这些恒星低质量光谱进行有效的处理和分析是当前面临的一个重要问题。为了解决这个问题,提高恒星光谱的利用效率,在仔细研究相关处理方法的基础上,本文重点研究了恒星低质量光谱的数据处理和分析的问题,其中包括恒星低质量光谱的降噪、流量缺失及拼接异常光谱的修复、恒星低质量光谱连续谱拟合、恒星低质量光谱中稀有恒星的搜寻以及恒星低质量光谱的大气参数测量等。本文的创新点及贡献主要包含以下几个方面:(1)在改进生成对抗网络算法Cycle-GANs的基础上,提出了基于生成对抗网络的深度学习算法Spectra-GANs。该算法对同源恒星的高质量光谱和低质量光谱同时进行训练,能够有效提取出复杂的噪声模型,通过此噪声模型能够找出对应的高质量光谱与低质量光谱之间的映射关系。实验结果表明了该方法对恒星低质量光谱处理的有效性,同时训练得到的模型可以直接对其它的恒星低质量光谱进行处理,提高了恒星光谱利用率。(2)针对恒星低质量光谱的特性,引入了蒙特卡罗方法对恒星低质量光谱的连续谱进行拟合。目前的连续谱拟合方法大都针对恒星高质量光谱,在恒星低质量光谱中不能准确提取拟合点。针对此问题,本文在统计窗拟合的基础上,对缺失的流量点利用蒙特卡罗方法进行提取,提高了恒星低质量光谱连续谱拟合的准确性和稳定性。(3)提出了用于恒星低质量光谱中稀有恒星光谱搜寻的PCA+CFSFDP方法。受噪声等因素的影响,恒星低质量光谱中的稀有恒星通常难以搜寻。针对此问题,本文提出了利用主成分分析(Principal Component Analysis,PC A)构建通用特征光谱库的方法对恒星低质量光谱进行处理,然后,利用基于密度峰值的快速聚类算法(Clustering by Fast Search and Find of Density Peaks,CFSFDP)在处理后的光谱中进行快速搜寻。实验表明该方法能够快速而有效地确定稀有恒星光谱的候选体,缩小了搜索范围,大大提高了搜索效率。(4)改进了一维卷积神经网络的参数测量方法StarNet,对恒星低质量光谱的大气参数进行了分析。目前很多算法已经成功应用于恒星大气参数测量的任务,而在恒星低质量光谱中很难准确地预测出大气参数。针对此问题,本文对一维StarNet算法进行了改进,通过实验选择出最优的卷积层与全连接层的个数并且扩大了卷积核的尺寸,增强了对低质量数据的处理能力。然后,利用改进的算法对恒星低质量光谱进行了有效的高阶非线性特征提取,提高了恒星低质量光谱大气参数的测量精确度。综上所述,本文提出了以数据挖掘、机器学习等相关技术为基础的方法,为海量巡天光谱数据中恒星低质量光谱的处理及分析提供了一些新的思路及新的方法,从而为后续巡天项目如LSST、WEAVES、MOONS等的低质量光谱数据的利用提供了有效的算法工具,对提高这些巡天项目中光谱利用率和信息获取效率具有非常大的意义。

关键词： 数据处理   数据仓库   联机分析处理技术  

摘要： 在教育信息化的大趋势下,校园一卡通在各高校得到了普遍应用。一卡通系统作为校园信息化管理的重要载体,承载着越来越丰富的信息。如何对这些数据进行有效挖掘和充分分析,发现潜藏于其中的大量商业信息与管理信息,已经成为相关领域的研究热点。本文以笔者供职的高职院校一卡通数据库为基础,设计并实现了一个校园一卡通日志分析系统。系统以一卡通日志中的使用地点、时间节点、操作类型、消费金额等数据作为分析对象,提取出具有代表性的特征数据,并对其进行深入挖掘,得到分析结果,供学校管理机构对全校师生工作、学习和生活量化分析,进而合理分配资源,降低管理成本,发挥信息化技术在提高学校学生管理和校园规划建设等工作中的重要作用。系统以数据仓库、联机分析处理技术和数据挖掘技术为基础进行设计,开展了以下工作:1.首先进行了系统需求分析,确立了数据源层、数据处理层、数据仓库层和数据展示层的基本架构,明确了系统的基本功能为消费分析、贫困生预测和出勤统计,确定了系统的数据来源为本校校园一卡通数据库。2.在数据处理层的ETL过程中,通过对数据进行抽取、转换、加载等操作,使用ODBC工具实现了数据从一卡通系统数据库向本系统数据库的抽取过程,完成了数据的预处理。使数据的完整性、正确性和标准化程度满足数据挖掘的需求。3.利用数据仓库管理软件SQL Server 2008 Analysis Services对数据进行集成、转换和载入,建立了数据挖掘所需的数据仓库。4.利用联机分析处理技术创建了关联规则挖掘模型,以多维数据作为决策内容,跟据需求快速、灵活地对大量数据进行复杂处理,通过Apriori算法挖掘出本校贫困生在日常生活学习中的数据特征为后续贫困生评定提供一定的科学依据。5.最终采用可视化技术,以图表、曲线、文字等直观形式展示数据分析结果。论文的工作表明,将数据仓库和数据挖掘技术结合进行校园一卡通系统的数据分析为学校综合信息分析及数据挖掘工作奠定了基础,为进一步构造完整的分析平台,提供更深层次的决策建议进行了有效探索。

关键词： 机器学习   数据处理  

ISBN: (纸本)9787121375866

摘要： 本书是一本利用Python技术，结合人工智能、神经网络和机器学习、遗传算法等互联网技术进行相应行业模型开发的技术图书。本书第1-4章主要讲解了利用Python软件分析模型开发的入门知识，包括开发工具的使用、测试技术难点等内容；第5-7章主要讲解了利用人工智能中的神经网络技术进行技术研发，利用数据挖掘技术完善行业技术模型的数据加载与分析等内容；第8-9章主要讲解了利用大数据进行技术配置和风险控制等内容；第10-11章主要讲解了利用机器学习与遗传算法进行相应模型开发等内容。全书内容专业，案例丰富翔实，是作者多年来利用开发软件和人工智能结合进行相关领域软件开发与探索的*结晶。本书不仅适合想利用Python进行软件开发的用户，也适合有一定经验但想深入掌握人工智能、机器学习技术进行行业应用的用户使用，还可以作为机构培训的优秀教材。

关键词： 数据挖掘   电子商务   数据处理   应用研究  

摘要： 随着现在社会科技的进步,数据挖掘技术也在不断地进步,目前数据挖掘涉及的领域非常广泛,其中在电子商务领域也得到了广泛的运用。这一篇文章主要是从数据挖掘的概念以及实际工作中的操作方法这些方面展开讨论,通过一些案例来分析电子商务中该技术的使用情况,从而得出一定的结论,即二者的结合能够有效的促进电商的发展。这一项技术能够深入的分析和处理数据信息,高效的抽取出有用的信息,方便电商行业的快速迭代和变更,有利于促进公司营业额的增长,并且通过对信息的处理能够分析出用户的喜好,方便公司为未来的发展做出有效的计划安排,同时也为大家的生活提供了更加便捷的方式。

关键词： 供热系统   数据仓库   数据挖掘   数据处理  

摘要： 为优化和调整城市的供热措施及方案,针对供热方面数据信息的特点和热能供热系统建立超大量(海量)的数据仓库,应用数据挖掘技术中的分类、分析、预测、关联、聚类等分析方法,计算分析得到相关数据之间的潜在规律及发展趋势,通过挖掘和提取有用的数据信息,得到数据间的“显式知识”图谱,来诊断和解决供热过程中的具体问题,为城市的供热方案调整和节能环保提供决策支持。

关键词： 舰船装备   维修费估计   数据处理   数据挖掘技术  

摘要： 舰船装备维修费具有一定的规律性,同时也有一定的随机性,导致很难进行准确估计。为了提高舰船装备维修费精度,减少舰船装备维修估计偏差,设计了基于数据挖掘的舰船装备维修费估计模型。首先分析当前舰船装备维修费估计模型的各种局限性,然后收集舰船装备维修费历史数据,并对舰船装备维修费历史数据进行处理,得到更加有规律的舰船装备维修费数据,然后采用数据挖掘技术建立舰船装备维修费估计模型,并采用实际舰船装备维修费数据进行验证性实验。本文模型的舰船装备维修费估计精度高,舰船装备维修费的估计误差远小于当前其他舰船装备维修费估计模型,结果证明本文方法是一种精度高,误差小的舰船装备维修费估计模型。

关键词： 同期售电量   数据挖掘   用电潜力   行业发展态势  

摘要： 同期售电量因其统计特点具有实时反映售电量的优势,通过框架研究,建立同期售电量与新版行业分类的基联关系,通过技术手段,客观准确的将全社会用电量进行行业细分及科学分类,充分收集内部、外部数据信息,挖掘分析影响行业用电量的因素;同时,在分行业同期售电量相关分析的基础上,尝试建立时间序列预测模型,预测月度及年度同期售电量情况,为提前把握电力增长趋势,明确各行业用户用电潜力增长,为供电企业更好地把握行业发展态势以及服务精细化提供数据支撑。

关键词： 数据库   到排序   分布式处理   数据挖掘   大数据   推荐系统  

摘要： 首先针对数据分析中数据库处理方式的不同,对数据仓库的各种应用场景,数据挖掘技术的处理过程和数据挖掘面临的主要问题进行了阐述;随后对大数据处理技术的九种典型方法进行了简要综述,包括布隆过滤器、散列法、倒排序、数据库索引与分布式处理等,对各种技术在大数据分析理解过程中的关键作用进行了总结;并对大数据处理和分析面临的计算复杂性、数据复杂性、以及系统复杂性进行分析,对各种典型的业务应用场景,提出了较为理想的应对方案。

关键词： 数据挖掘   异常点检测   箱线图   信息增益率   C4.5决策树  

摘要： 对于一个城市尺度的居民用气、用水数据系统,其数据量之大通常是人力无法或难以处理与分析的,往往需要借助于数据挖掘技术。基于天津市某城区3个小区用户2 a的用水、用气数据,采用数据标准化、基于临近性检测、箱线图等数据挖掘方法,对用户数据进行了用能异常、邻月用能数据变化异常等检测,并横向比较了3个小区的总体用能水平。结合问卷调研数据,提出了通过信息增益理论及C4.5决策树等数据挖掘算法建立用户用能水平与用户特征及用户行为间的关联关系的方法。本文的研究工作展示了从建筑用能数据中提取有效信息的过程,可为建筑能耗数据管理平台构建和应用提供新思路。

关键词： 数据画像   大数据   个人金融信息   个人隐私   敏感数据   数据挖掘   数据处理   数据保护   个人信息保护   金融消费者权益   精准营销  

摘要： 大数据时代,数据画像越来越盛行,尤其在金融领域,大多数金融机构都利用个人的身份信息、账户信息、交易信息、社交信息、兴趣爱好等对其开展数据画像,以此有针对性地、分层次地向其推销产品或服务。但不规范的数据画像或数据画像运用不当不仅容易导致信息主体的隐私权遭到侵害,还可能导致其财产损失。研究数据画像领域个人金融信息保护存在的问题,明确数据画像的合理边界,规范数据画像的运用,对于平衡个人信息的使用与保护之间的矛盾有着重要的意义。