[AI] Facial Expression Recognition 라이브러리 및 데이터셋 분석

https://paperswithcode.com/paper/challenges-in-representation-learning-a#code

Papers with Code - Challenges in Representation Learning: A report on three machine learning contests

사용된 라이브러리랑 dataset 을 각각 분석해보자.

 

 

라이브러리

 

1. ResidualMaskingNetwork [PyTorch]

https://github.com/phamquiluan/ResidualMaskingNetwork

GitHub - phamquiluan/ResidualMaskingNetwork: ICPR 2020: Facial Expression Recognition using Residual Masking Network

해당 라이브러리는 여느 감정분석 AI 라이브러리와 같이, 이미지셋을 넣으면 그 감정이 분석되는 라이브러리임.

사용 방법 또한 install 후,

from rmn import RMN
m = RMN()
m.video_demo()

# or
image = cv2.imread("some-image-path.png")
results = m.detect_emotion_for_single_frame(image)
print(results)
image = m.draw(image, results)
cv2.imwrite("output.png", image)

다음과 같이 파이썬 내에 파일을 넣어줌으로써 분석이 바로 가능하다.

PyTorch 라이브러리 중에서는 그나마 사용률이 높은 라이브러리다.

 

 

 

 

2. fer [TenserFlow]

https://github.com/justinshenk/fer

GitHub - justinshenk/fer: Facial Expression Recognition with a deep neural network as a PyPI package

 

1번에서 소개한 python 라이브러리보단 조금 더 자세한 output 제공이 이루어진다.

 

Sample output:

[{'box': [277, 90, 48, 63], 'emotions': {'angry': 0.02, 'disgust': 0.0, 'fear': 0.05, 'happy': 0.16, 'neutral': 0.09, 'sad': 0.27, 'surprise': 0.41}]

 

 

이미지 사용법은 1번과 같은데, 좀 더 다른 특징이라 함은 Video 분석 제공도 가능하다는 점?!

from fer import Video
from fer import FER

video_filename = "tests/woman2.mp4"
video = Video(video_filename)

# Analyze video, displaying the output
detector = FER(mtcnn=True)
raw_data = video.analyze(detector, display=True)
df = video.to_pandas(raw_data)

 

 

 

데이터셋

 

 

FER2013

https://paperswithcode.com/dataset/fer2013

Papers with Code - FER2013 Dataset

fer2013 데이터셋은 대략 3만개의 48x48 RGB이미지들을 분석해서 

0=Angry, 1=Disgust, 2=Fear, 3=Happy, 4=Sad, 5=Surprise, 6=Neutral. 의 7 type으로 분류함.

얼굴 사진들을 자동으로 중앙 정렬했다니 사용시 번거로운 과정은 없을 듯 하다.

 

train.csv 같은 경우는 한 이미지를 emotion과 pixel이라고 두개로 colum을 나눠서 표시함.

 

 

 

높은 글로벌 랭크를 기록하고 있는 paper들에 자주 사용되고 있는 데이터셋인 듯 하다!Facial Expression Recognition 연구할 때 사용하기에 충분하다고 판단 됨.

 

 

+) 개인적 견해

내가 분석한 Model들보다 해당 사이트에 나와있는 다른 Model들의 트렌드나 정확도가 더 높다.

데이터셋은 보통 FER2013을 동일하게 많이 사용하는 것을 보니, 소개한 라이브러리들의 신뢰도가

경쟁력 측면에서 떨어지는 듯 하다. 최신화 되고 정확도가 높은 라이브러리를 더 탐색해 볼 필요가 있다고 봄.