小余同学's Bolg - 泰迪杯
type: channel
link: https://ilfishs.com/tag/%E6%B3%B0%E8%BF%AA%E6%9D%AF/
items: 第十届“泰迪杯”数据挖掘挑战赛：疫情背景下的周边游需求图谱分析-国二方案分享(2)
items: 第十届“泰迪杯”数据挖掘挑战赛：疫情背景下的周边游需求图谱分析-国二方案分享(1)

第十届“泰迪杯”数据挖掘挑战赛：疫情背景下的周边游需求图谱分析-国二方案分享(2)
type: item
date: 2023-04-12T20:59:00+08:00
description: 第十届“泰迪杯”数据挖掘挑战赛C题 -疫情背景下的周边游需求图谱分析 第2问和第3问 产品热度计算方法第一问分享在下列链接：[post cid="161" cover="" size=""/][scode type="green" size="simple"]我已在AIStudio将赛题方案上传，可以一键Fork运行。步骤：未注册的小伙伴需要先去AI Studio进行注册，完善资料后，访问下面方案链接（觉得好的话，记得给我点个关注和小红心哦）：问题一解决方案代码问题二、三解决方案代码由于该赛题方案内容太多，故将1问和2、3问分开分享竞赛地址：https://www.tipdm.org:10010/#/competition/1481159137780998144/question[/scode]一、项目介绍1.1 赛题背景1.2 第二问拟解决的问题 周边游产品热度分析1.3 第三问拟解决的问题 本地旅游图谱构建与分析二、方案设计2.1 赛题背景2.2 第二问拟解决的问题 周边游产品热度分析三、基于SKEP的周边游产品热度评价3.1 评论观点抽取模型3.2 属性级情感分类模型3.3 全流程模型推理四、 计算产品热度4.1 方面级情感极性预测及计算情感分数4.2统计产品情感热度得分五、致谢一、 项目介绍1.1 赛题背景随着互联网和自媒体的繁荣，文本形式的在线旅游（Online Travel Agency，OTA）和游客的用户生成内容（User Generated Content，UGC）数据成为了解旅游市场现状的重要信息来源。OTA和UGC数据的内容较为分散和碎片化，要使用它们对某一特定旅游目的地进行研究时，迫切需要一种能够从文本中抽取相关的旅游要素，并挖掘要素之间的相关性和隐含的高层概念的可视化分析工具。为此本赛题提出本地旅游图谱这一概念，它在通用知识图谱的基础上加入了更多针对旅游行业的需求。本地旅游图谱采用图的形式直观全面地展示特定旅游目的地“吃住行娱购游”等旅游要素，以及它们之间的关联。图 1所示为我国西藏阿里地区的本地旅游图谱，中心位置节点为旅游目的地“阿里”，它的下层要素包括该地区的重要景点如“冈仁波齐”和“玛旁雍错”，以及“安全”、“住宿”等旅游要素。旅游要素分为多个等级，需要从文本中挖掘出面对不同要素游客所关注的下一级要素。如阿里地区的“安全”要素下包括“高反”、“天气”和“季节”等下一级要素，这个组合是西藏旅游所特有的。旅游要素之间会存在关联关系，如“冈仁波齐”和“玛旁雍错”这两个景点通过“神山圣湖”这一高层概念产生联系，在本地旅游图谱中使用连接两个节点的一条边来表示。在近年来新冠疫情常态化防控的背景下，我国游客的旅游消费方式已经发生明显的转变。在出境游停滞，跨省游时常因为零散疫情的影响被叫停的情况下，中长程旅游受到非常大的冲击，游客更多选择短程旅游，本地周边游规模暴涨迎来了风口。疫情防控常态化背景下研究分析游客消费需求行为的变化，对于旅游企业产品供给、资源优化配置以及市场持续开拓具有长远而积极的作用。本赛题提供收集自互联网公开渠道的2018年至2021年广东省茂名市的OTA和UGC数据，期待参赛者采用自然语言处理等数据挖掘方法通过建立本地旅游图谱的方式来分析新冠疫情时期该市周边游的发展。1.2 第二问拟解决的问题 周边游产品热度分析从附件提供的OTA、UGC数据中提取包括景区、酒店、网红景点、民宿、特色餐饮、乡村旅游、文创等旅游产品的实例和其他有用信息，将提取出的旅游产品和所依托的语料以表2的形式保存为文件“result2-1.csv”。建立旅游产品的多维度热度评价模型，对提取出的旅游产品按年度进行热度分析，并排名。将结果以表3的形式保存为文件“result2-2.csv”。1.3 第三问拟解决的问题 本地旅游图谱构建与分析依据提供的OTA、UGC数据，对问题2中提取出的旅游产品进行关联分析，找出以景区、酒店、餐饮等为核心的强关联模式，结果以表4的形式保存为文件“result3.csv”。在此基础上构建本地旅游图谱并选择合适方法进行可视化分析。鼓励参赛队挖掘旅游产品间隐含的关联模式并进行解释。二. 方案设计C题第二问通过构建基于 SBERT 的旅游产品提取模型，对旅游攻略及微信公众号进行产品抽取，再针对情感热度问题，构建基于迁移学习与细粒度情感分析的情感热度分析模型，得出每个产品的情感分数，最终利用情感分数以及年度的产品频次按照自定的产品热度公式进行计算，最终生成年度产品热度。本实践的解决方案采用skep模型，大致分为两个环节，首先需要进行评论观点抽取，接下来，便可以根据该评论观点去分析相应观点的情感极性。2.1 评论观点抽取在本实践中，我们将采用序列标注的方式进行评论观点抽取，具体而言，会抽取评论中的属性以及属…

第十届“泰迪杯”数据挖掘挑战赛：疫情背景下的周边游需求图谱分析-国二方案分享(1)
type: item
date: 2023-04-12T20:49:00+08:00
description: 第十届“泰迪杯”数据挖掘挑战赛 C题：疫情背景下的周边游需求图谱分析 - 微信公众号文章无监督分类第二、三问分享在下列链接：[post cid="162" cover="" size=""/][scode type="green" size="simple"]我已在AIStudio将赛题方案上传，可以一键Fork运行。步骤：未注册的小伙伴需要先去AI Studio进行注册，完善资料后，访问下面方案链接（觉得好的话，记得给我点个关注和小红心哦）：问题一解决方案代码问题二、三解决方案代码竞赛地址：https://www.tipdm.org:10010/#/competition/1481159137780998144/question[/scode]一、项目介绍1.1 赛题背景1.2 第一问拟解决问题1.3 数据展示二、基于LDA的微信公众号分类2.1 解决方案2.2 数据预处理2.3 LDA分析2.4 词云展示2.5 结果展示三、总结四、后续的任务 一、项目介绍1.1 赛题背景随着互联网和自媒体的繁荣，文本形式的在线旅游（Online Travel Agency，OTA）和游客的用户生成内容（User Generated Content，UGC）数据成为了解旅游市场现状的重要信息来源。OTA和UGC数据的内容较为分散和碎片化，要使用它们对某一特定旅游目的地进行研究时，迫切需要一种能够从文本中抽取相关的旅游要素，并挖掘要素之间的相关性和隐含的高层概念的可视化分析工具。为此本赛题提出本地旅游图谱这一概念，它在通用知识图谱的基础上加入了更多针对旅游行业的需求。本地旅游图谱采用图的形式直观全面地展示特定旅游目的地“吃住行娱购游”等旅游要素，以及它们之间的关联。图 1所示为我国西藏阿里地区的本地旅游图谱，中心位置节点为旅游目的地“阿里”，它的下层要素包括该地区的重要景点如“冈仁波齐”和“玛旁雍错”，以及“安全”、“住宿”等旅游要素。旅游要素分为多个等级，需要从文本中挖掘出面对不同要素游客所关注的下一级要素。如阿里地区的“安全”要素下包括“高反”、“天气”和“季节”等下一级要素，这个组合是西藏旅游所特有的。旅游要素之间会存在关联关系，如“冈仁波齐”和“玛旁雍错”这两个景点通过“神山圣湖”这一高层概念产生联系，在本地旅游图谱中使用连接两个节点的一条边来表示。在近年来新冠疫情常态化防控的背景下，我国游客的旅游消费方式已经发生明显的转变。在出境游停滞，跨省游时常因为零散疫情的影响被叫停的情况下，中长程旅游受到非常大的冲击，游客更多选择短程旅游，本地周边游规模暴涨迎来了风口。疫情防控常态化背景下研究分析游客消费需求行为的变化，对于旅游企业产品供给、资源优化配置以及市场持续开拓具有长远而积极的作用。本赛题提供收集自互联网公开渠道的2018年至2021年广东省茂名市的OTA和UGC数据，期待参赛者采用自然语言处理等数据挖掘方法通过建立本地旅游图谱的方式来分析新冠疫情时期该市周边游的发展。1.2 第一问拟解决问题构建文本分类模型，对附件1提供的微信公众号的推送文章根据其内容与文旅的相关性分为“相关”和“不相关”两类，并将分类结果以表1的形式保存为文件“result1.csv”。与文旅相关性较强的主题有旅游、活动、节庆、特产、交通、酒店、景区、景点、文创、文化、乡村旅游、民宿、假日、假期、游客、采摘、赏花、春游、踏青、康养、公园、滨海游、度假、农家乐、剧本杀、旅行、徒步、工业旅游、线路、自驾游、团队游、攻略、游记、包车、玻璃栈道、游艇、高尔夫、温泉等等。该数据文本长度长，且没有任何标签1.3 数据展示共有8000多条微信公众号的文章，字数在4000+import pandas as pd wechat=pd.read_excel('./data/data175696/_5_微信公众号文章.xlsx') wechat二、基于LDA的微信公众号分类2.1 解决方案 首先对疫情前发布的394篇和疫情后发布的5665篇公众号文章，以文旅这一大主题为目标，建立模型判断公众号文章与文旅的相关性。先对原始数据集进行数据清洗，避免因为存在较大的噪声干扰模型的判断。然后用TF-IDF算法进行特征关键词提取，并将处理好的数据输入LDA模型中进行主题词和主题生成。考虑到细粒度的问题，最终对疫情前的公众号文章生成16个主题，疫情后的公众号文章生成40个主题，通过人工标注的方法对这56个主题进行相关性标注，最后生成公众号文章与文旅相关性表格。# 安装pyLDAvis和词云库 """ TypeError: import_optional_dependency() got an unexpected keyword argument 'errors'， 感谢桨友发现在执行分词遇到错误，…