SemEval-2022 Task 10: Structured Sentiment Analysis
2022年情感识别任务Task10：SemEval-2022 Task 10: Structured Sentiment Analysis
任务描述
Structured Sentiment Analysis主要是从文本中抽取结构化的情感图(Structured sentiment graph)。 即，从文本中抽取所有的观点元组$O=O_1,…,O_n$，每个观点$O_i$为一个四元组$(h,t,e,p)$
其中$h$为holder，$p$为polarity，$t$为target，$e$为sentiment expression， holder通过sentiment expression对target表达polarity。
单语言预测
在相同的语言上训练和预测结构化情感图，需上传7个预测文本
跨语言预测
探索模型在跨语言上的繁华能力。在多语言上进行训练，在 MultiBooked、Datasets (Catalan and Basque) 和 OpeNER Spanish 数据集上进行测试。
数据集
| 数据集 | 描述 | 训练集句子数 |
|---|---|---|
| $NoReC_{Fine}$ | 挪威语: 多领域的专业评论数据 | 8634 |
| $MultiB_{EU}$ | 巴斯克語: 酒店评论数据 | 1064 |
| $MultiB_{CA}$ | 加泰罗尼亚语:酒店评论数据 | 1174 |
| $MPQA$ | 英语: 新闻语料 | 4500 |
| $DS_{Unis}$ | 英语:网课和电子商务评论语料 | 2253 |
| $OpeNER_es$ | 西班牙语: | 1439 |
| $OpeNER_en$ | 英语: | 1745 |
评估方法
Sentiment Graph F1
对元组级别(holder, target, expression, polarity)的记录进行对比，在polarity一致的情况下，在holder/target/expression三种元素上，利用预测元素和真实元素的字符重叠情况作为对应元素的准确情况，并取三个元素准确情况的平均值作为元组的准确情况。
$$
tp_{holder} = \frac{intersect(holder_{predict}, holder_{true})}{holder_{predict}}
$$
$$
tp_{target} = \frac{intersect(target_{predict}, target_{true})}{target_{predict}}
$$
$$
tp_{expression} = \frac{intersect(expression_{predict}, expression_{true})}{expression_{predict}}
$$
$$
tp = \frac{tp_{holder} + tp_{target} + tp_{expression}}{3}
$$
准确率$P$: 所有预测准确的元素占预测元素的比例
召回率$R$：所有预测准确的元素占真实元素的比例
Sentiment Graph F1：
$$
F_1 = \frac{2\times P \times R}{P + R}
$$
Baseline
| 方法 | darmstadt_unis | mpqa | multibooked_ca | multibooked_eu | norec | opener_en | opener_es |
|---|---|---|---|---|---|---|---|
| Pipeline sequence labeling + relation classification | 0.072 | 0.011 | 0.289 | 0.405 | 0.201 | 0.254 | |
| graph_parser | 0 | 0 | 0.038 | 0.065 | 0.011 | 0.098 | 0.068 |
Pipeline Sequence labeling + relation classification
任务分成两部分: 元素抽取(holder/target/expression) 、情感极性分类
- 元素抽取：训练三个BiLSTM模型进行 holder、target、expression的抽取
- 情感极性分类：BiLSTM + max pooling获取三个表示向量，将三个向量拼接后接一个线性分类器进行polarity预测。
- 全文向量表示
- holder或者target的向量表示
- expression的向量表示
Graph Parser
看做是一个双词依存图的预测任务( a bilexical dependency graph prediction task）。
模型paper