目录：
因为在学校做的是情感分析方向，所以准备就这个方向展开写写，目前计划情感分析模块分为综述、论文、项目、比赛四个部分。综述部分少量摘自本人的开题综述。
情感分析任务可以分为两个子任务，Aspect Extraction(评价对象抽取)和 Sentimental Classification(情感分类)。评价对象抽取，因为有target extraction或者aspect extraction，但是target和aspect还是有区别的。举个栗子：“电脑的CPU速度很快”这句话中，名词性短语有“电脑”和“CPU”，形容词“快”是评价结果，显然“快”这个词形容的是“CPU”，这里“CPU”这句话的aspect（方面词），但是从整句来看，CPU快又是对电脑的评价，“电脑”就看做了这句话的Target（目标词），论文一般中将评价对象统称为Target，所以这句话中的Target就是“电脑”和“CPU”。情感分类任务，也叫极性分析，也分为不同级别的任务：文档级别、句子级别和方面级别（Aspect-Level）。对于文档级别和句子级别的情感分析自从BERT出来以后，将其看做分类任务放入模型中都能都表现出不错的结果，所以再研究这两个级别任务意义不大，现在研究更倾向于细粒度的情感分析。当然的大部分论文做情感分析直接对已标注的数据集做极性分类，少部分关注于评价对象抽取。整体上将该任务看做两个子任务一起进行训练，设置目标边界的标签（BIOES）和情感极性标签（POS/NEG/NEU）。最近的趋势是将两个子任务看做一个，构建一种端到端（End-to-End）的模型，模型将整体任务视为一个序列标记任务，在抽取评价对象的同时进行情感极性分类，消除了两个子任务的边界，设置了一套通用的标签进行训练：B-{POS, NEG, NEU}, I-{POS, NEG, NEU}, E-{POS, NEG, NEU},S-{POS, NEG, NEU}。
情感分析任务面临的困难：
无监督的方法主要基于依存句法分析、概率图模型和终身学习（Lifelong Learning）。
在自然语言处理中，用词与词之间的依存关系来描述语言结构的框架称为依存语法（dependence grammar），又称从属关系语法。利用依存句法进行句法分析也是自然语言理解的重要技术之一，常见的有斯坦福的StandParser和哈工大的LTP语言技术平台。最早基于依存句法树的算法叫DP（double propagation）[1]，它根据意见词和评论对象之间的句法关系，仅使用初始意见词典便可以开始对评论对象进行抽取。由于使用了意见词种子，所以该方法也是半监督的。此方法在实践中是非常可取的，但一方面该方法得到的评价对象召回率较低，另一方面由于规则需要手动筛选不免会出现很多错误。为了提升方法的准确率和召回率，将DP算法和关联挖掘[2]或基于内容的推荐算法[3]进行结合，得到了比较好的结果。这种方法的缺点在于往往无法根据语义内容对表达式进行有效的分类。例如，相同方面的属性（例如，对于屏幕的“LED”和“LCD”属性）通常被视为不同方面，类似地，特定领域的同义词（例如，“电池”和“电源”）通常被视为不同方面。用这些方法提取的评论对象的意见含有一定量的噪音，并且结构不一定完整，因此了解消费者对产品的观点。为了避免人为的规则筛选，Lou[4]等人提出了一种双向依赖树的结构，一般使用句法关系生成一颗表示词和词之间内在关系的树，为了提高树的表达能力，通过双向门控机制和序列信息的融合对评价对象进行抽取。
概率图模型（probabilistic graphical models）是一种用图结构来描述多元随机变量之间条件独立关系的概率模型。S. Moghaddam等人在[5]中，提出了三种概率图形模型，旨在从在线评论中提取产品评价对象和相应的得分。前两个模型扩展了标准PLSI和LDA，以生成产品评论的评级摘要，另外还引入了相互依赖的隐狄利克雷（ILDA）模型。该模型在测试集的准确性方面有适当的改进效果。主题模型是一种用来在大量文档中发现潜在主题的统计模型。但是现有的主题模型，如标准的Latent-Dirichlet Allocation（LDA），不适合应用在评价对象抽取的任务中，因为它们倾向于捕获数据中的全局主题，而不是与评价对象相关的主题。为了解决这个问题，Titov[6]等人提出了一个多粒度主题模型（MG-LDA），试图捕获两层主题——全局和局部，其中局部主题对应于可分级的方面。MG-LDA区分了十个局部主题，但没有明确这些评价对象和主题之间的多对一映射关系。为了重新解决这个问题，作者扩展了他们的模型，并试图借助与评论文本一起提供特定的排序来推断这种映射关系。Wang[7]等人提出了两种半监督模型：the Fine-grained Labeled LDA (FL-LDA)和the Unified Fine-grained Labeled LDA (UFL-LDA)。FL-LDA模型中，评价对象种子词被用来指导模型发现与种子评价对象词相关的单词。之后作者使用未标记的文档来扩展FL-LDA模型，以便提取与种子评价对象词相关的单词或客户评论中的其他的高频词。
终身学习（Lifelong Learning LLL）又叫分别是Continuous Learning，Never Ending Learning和Incremental Learning。终身学习[8]利用从过去获得的知识来帮助新领域的评论对象抽取，这是一种持续的学习范式，它保留了过去学习到的知识，使用它能帮助未来的学习和解决问题，并进行可能的调整。终身学习具有三个基本特点：维护可增长的知识库、可扩展的模型和知识的正向迁移。终身学习的方法会在网络中学习先验知识，再运用到其他方法中，所以多与其他方法结合使用。Wang[9]等人提出了一个完整的细粒度主题模型：LAST（Lifelong Aspect-based Sentiment Topic），它使用终身学习的方法可以从任何领域的产品评论中自动挖掘评论对象、观点及其对应的先验知识，该模型相对于当时最先进的基线有了重大改进。由于自然语言处理的灵活性，DP算法很难设计一套规则来提升准确率和召回率，Liu[10]等人一方面使用计算词向量相似度的推荐算法解决DP算法中评价对象相似的问题，例如：“图片”和“照片”是一对近义词，在DP算法中可以从“照片很清晰”中抽取评价对象“照片”，却无法从“图片无法转换格式”中抽取评价对象“照片”，因为为了确保良好的准确率和召回率，很多具有较低准确率的规则未被使用，基于相似度的推荐算法刚好解决了找个问题。另一方面，评价对象“图片”无法得到“电池”，因为他们的语义相似度太小，所以使用了多个跨领域评价对象关联挖掘的终身学习方法。Chen[11]等人提出首先利用大数据从不同领域的评论数据中学习先验知识，再一边使用容错模型处理可能的错误知识，一遍利用先验知识提取更为合乎逻辑的评价对象。
模前应用在序列模型建模的评价对象抽取任务的模型主要包括：支持向量机（SVM）、隐马尔科夫模型（HMM）和条件随机场（CRF）。
支持向量机（Support Vector Machines SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，将线性模型转换成对偶形式，就可以利用核函数来计算相似性，同时避免了直接做高维度的向量内积运算。李景玉[12]等人将任务看做为一个二分类任务对候选评价对象进行过滤。文中使用了语义角色标注、TF-IDF和欧几里得距离作为特征将文本转为特征向量，再使用句法分析工具识别句子谓语动词的语义角色信息，最后使用相似度抽取评价对象。针对大型影评数据集的情感分类问题，Manek[13]等人提出了一种基于基尼指数的支持向量机特征选择方法。结果表明，模型的基尼指数方法在降低错误率和准确率方面具有很好的分类性能。
隐马尔可夫模型(Hidden Markov Model HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。Jin[14]等人提出了一种基于词典的HMMs学习框架，该方法可以自然地将语言特征和周围的语境线索融入到学习中，系统可以识别复杂的产品特性如词性。另外该系统还可以根据训练数据中模式自我学习新词汇，因此，系统能够预测在训练集中没有遇到过的测试数据集中的潜在特征。郑[15]等人使用HMM对中文文本进行了评价对象和情感词抽取，首先设计实现了情感信息抽取系统构建情感词典，之后对基于短评论文本的特点对HMM模型进行了改进，最后通过情感词和评价对象之间的语法关系匹配到了最终的信息。
条件随机场（Conditional Random Field CRF），通常被用于命名实体识别等序列标注任务来学习标签之间的依赖关系。Jakob[16]等人尝试使用CRF跨领域抽取评价对象，并以Zhuang[17]等人的监督学习方法作为基线，取得了当时最好的结果。Choi Y[18]等人使用了层次信息共享技术结合CRF来确定评价对象的边界。Shu[19]等人用使用终身学习先验知识的条件随机场来进行评价对象抽取，结果明显好于传统的条件随机场，而且即使训练过，模型也能在应用中进行改进。Hamdan[20]等人提出了基于CRF和逻辑回归的评价对象抽取和情感分析框架：Lsislif。框架首先采用带有正负标签加权模式的Logistic回归模型进行情感极性分析，提取了词法、句法、语义和词汇等特征，然后使用CRF框架对采用BIO标注的语料进行评价对象抽取并进行对应的情感分类。林[21]等人，提出一种基于条件随机场的网民评论对象识别方法。该方法无需引入任何领域知识,通过引入字级特征、特征词(字)特征、线索词(字)特征,利用条件随机场模型将网民评论对象识别问题转化为最大概率序列求解。
评价对象抽取任务以下论文值得读以下，读完会对整个任务的发展起到把控的作用，有时间我会写下每篇论文的总结。
《Improving Aspect Term Extraction With Bidirectional Dependency Tree Representation》
《Opinion Word Expansion and Target Extraction through Double Propagation》
《Double Embeddings and CNN-based Sequence Labeling for Aspect Extraction》
《Coupling Global and Local Context for Unsupervised Aspect Extraction》
《Improving Aspect Term Extraction with Bidirectional Dependency Tree Representation》
对于方面级情感分析任务，传统的机器学习主要使用特征集合（比如词袋模型，句法信息等）来训练分类器用于情感分类。Bo[22]等人使用支持向量机（SVM）的方法对情感分析任务进行建模，然而，特征工程非常消耗劳动力，几乎达到了性能瓶颈。Toh[23]等人基于sigmoid前馈神经网络进行二分类，同时使用条件随机场进行评级对象抽取。该框架抽取了各种词汇和句法特征，并对无标签的数据使用聚类，效果达到了当时最好的水平。Brychcín[24]等人使用了主题模型，基于情感词典和语义空间的方法对已训练好的机器学习模型进行扩展，最终确定每个方面词的情感极性。
无监督学习模型是一种识别无标签数据结构的模型，它通常可以省去标注数据的大量劳动力，但结果大多数时候不如有监督学习。Bagheri[25]等人设计了一个无监督学习在方面及情感分析任务上的模型，模型首先提出了一种广义的学习多个方面词方法，然后采用一组启发式规则来考虑意见词对方面检测的影响。然后，提出了一种基于互信息和相位频率的度量方法，并采用一种新的自助迭代算法对方面词进行打分。自助迭代算法使用无监督种子集进行迭代并进行剪枝。最后，该模型使用了一种使用显式方面词和意见词来识别隐式方面词的方法。该方法利用提取的极性词，将词汇中的每个意见词映射到一组显式方面词中。该模型不需要任何标记的训练数据，并且可以很容易地应用于其他语言或其他领域，如电影评论。Chifu[26]等人提出了一种基于蚂蚁聚类算法的无监督情感分析框架。它能够将相似的句子分组，然后从每个分组中提取出评价对象的一个不同方面词，并使用生长层次自组织映射的扩展来进行情绪分析。在模型中中，作者假设产品评论中的不同句子指的是被评论产品的不同方面。这样就可以确定目标实体（如产品）的各个方面在评论句子中是带有正面情绪还是负面情绪。最终，对句子中表达的目标对象的不同方面的情感极性进行了的分类。
随着深度学习技术的发展，一些研究人员设计了有效的神经网络，从目标及其上下文中自动生成有用的低维表示，并在方面层面情感分类任务中获得了有希望的结果。这归因于神经网络是一种学习单词分布或段落分布的简单有效的方式。很多模型已经被应用于ABSC（Aspect Based Sentiment Classification）任务，例如：递归自动编码器、卷积神经网络、LSTM、GRU等。Jiang[27]等人指出40%的情感分类错误率是由于分类过程中没有考虑评价对象造成的，所以在最近的研究中人们看中上下文的影响。Dong[28]等人基于数据的句法关系提出了一种自适应性递归神经网络，它可以将上下文进行编码并传递给评价对象。Tang[29]等人将上下文分为带评价对象的左半部分和带评价对象的右半部分，分别使用两个长短期记忆（LSTM）模型对这两个部分进行建模。然后将两部分的拼接用于情绪分类。Wang[30]等人设计目标的方面嵌入，并将其与单词表示进行拼接，使用LSTM网络和注意机制生成最终表示用于情感极性分类。是BERT作为自然语言处理的一个里程碑，它是由多个transformer组成的强大特征抽取器，打破了多项自然语言处理任务的最好成绩。由于BERT预训练过程使用了维基百科等正式文本语料，以及训练过程不区分任务的特点，Xu[31]等人使用非正式语料在BERT模型继续训练并应用于ABSC任务，并取得了良好了结果。在此基础之上，Rietzler[32]等人将模型应用在特点领域的语料中进行微调，并取得了当前最好的成绩。
因为自己的论文使用了胶囊网络，所以简单的说下胶囊网络在情感分析方面的应用。Sabouret[33]等人提出了一种用于图像分类的胶囊网络。Zhao[34]等人首次将胶囊网络应用于文本分类，并提出了三种策略来稳定动态路由过程，以减轻某些可能包含冗余信息或未经成功训练的噪声胶囊的干扰。证明了胶囊网络既能提高编码空间的有效性，同时保持了表达能力的灵活性。Kim[35]提出了一种简单有效的减少动态路由计算复杂度的方法，该方法在多个数据集上取得了良好的效果。Wang[36]等人提出了一种通过共享组件同时进行方面检测和情感判断的胶囊网络模型，并实现了当时最好的结果。Xiao[37]等人利用胶囊网络进行多任务学习，与多任务学习不同，迁移学习关注主要任务的学习结果，次要任务对主任务学习起到辅助作用。Chen[38]等人提出了利用胶囊网络提出了共享文档级别知识对方面情感判断的迁移学习框架也取得了不错的实验结果。
情感分类任务相关论文很多，每篇论文都有很多值得借鉴的地方，上述提到的论文有个了解，需要时查阅即可。以下论文有时间会写想干博客进行总结。
《Attention-based LSTM for Aspect-level Sentiment Classification>》
《LCF: A Local Context Focus Mechanism for Aspect-Based Sentiment Classification>》
《Attention-based LSTM for Aspect-level Sentiment Classification»》
端到端的情感分析框架近些年比较流行，但是还不是很成熟，也就是效果一般，不过发展前景很大。以下一篇是阿里提出的一套模型，还附带代码，另一篇是基于BERT的框架，比较简单，两篇文章可以起到醍醐灌顶的作用，我会更新相关文献的博客。
《A Unified Model for Opinion Target Extraction and Target Sentiment Prediction》
《Exploiting BERT for End-to-End Aspect-based Sentiment Analysis》
由于上述内容部分来源于开题综述，可能毕业论文中还会使用，所以参考文献暂时不给出了
