| Step | \n", "Training Loss | \n", "
|---|---|
| 100 | \n", "1.463100 | \n", "
| 200 | \n", "0.481400 | \n", "
| 300 | \n", "0.364300 | \n", "
"
],
"text/plain": [
"
\n",
"\n",
"## 5. Evaluation\n",
"---\n",
"\n",
"평가를 수행합니다. 질의응답 태스크의 평가는 EM(Exact Match)와 F1 score를 사용합니다.\n",
"- EM: 예측한 정답의 토큰이 정확히 일치하면 1, 그렇지 않으면 0\n",
"- F1: 예측한 정답과 실제 정답의 중첩 토큰으로 스코어 산출\n",
"\n",
"Reference: https://qa.fastforwardlabs.com/no%20answer/null%20threshold/bert/distilbert/exact%20match/f1/robust%20predictions/2020/06/09/Evaluating_BERT_on_SQuAD.html"
]
},
{
"cell_type": "code",
"execution_count": 15,
"id": "5ec00b58-ade4-4547-99fb-dc5cd5d2eb5f",
"metadata": {},
"outputs": [
{
"name": "stderr",
"output_type": "stream",
"text": [
"100%|██████████| 140/140 [00:01<00:00, 116.52it/s]\n",
"100%|██████████| 5774/5774 [01:00<00:00, 96.18it/s]"
]
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"[{3242478017.py:4} INFO - EM = 0.627641149982681\n",
"[{3242478017.py:5} INFO - F1 = 0.6994331158010804\n"
]
},
{
"name": "stderr",
"output_type": "stream",
"text": [
"\n"
]
}
],
"source": [
"# compute metrics (EM and F1)\n",
"from scripts.evaluate import get_metrics_korquadv1, get_prediction\n",
"em, f1 = get_metrics_korquadv1(args.valid_dir, tokenizer, model)\n",
"logger.info(f\"EM = {em}\")\n",
"logger.info(f\"F1 = {f1}\")"
]
},
{
"cell_type": "markdown",
"id": "526d05ac-5abd-4b56-b06b-9ea1780a05cf",
"metadata": {},
"source": [
"### Example\n",
"여러분만의 샘플 문장을 만들어서 자유롭게 추론을 수행해 보세요."
]
},
{
"cell_type": "code",
"execution_count": 16,
"id": "8de3787e-1aa7-4457-bffb-131ce58442e3",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"{'score': 0.9967060089111328, 'start': 29, 'end': 36, 'answer': '카카오게임즈가'}\n",
"{'score': 0.8259254097938538, 'start': 263, 'end': 269, 'answer': '아마존 S3'}\n",
"{'score': 0.879924476146698, 'start': 514, 'end': 521, 'answer': '아마존 오로라'}\n",
"{'score': 0.9202089905738831, 'start': 626, 'end': 636, 'answer': '아마존 세이지메이커'}\n"
]
}
],
"source": [
"from transformers import pipeline\n",
"nlp = pipeline(\"question-answering\", model=model, tokenizer=tokenizer, device=0)\n",
"\n",
"context = r\"\"\"\n",
"아마존웹서비스(AWS)는 카카오 게임 전문 계열사 카카오게임즈가 자사 머신러닝(ML), 데이터베이스(DB) 및 데이터 분석 등 서비스를 통해 사용자 경험을 제고했다고 7일 밝혔다.\n",
"AWS는 카카오게임즈가 AWS클라우드 역량을 활용해 게임 데이터 분석 솔루션을 실행하고, 대량의 게임 데이터와 설치 건수, 사용자 유지율과 같은 성과 지표를 분석하고 있다고 설명했다. \n",
"현재 카카오게임즈는 폭증하는 데이터를 저장·분석하기 위한 방법으로 클라우드 오브젝트 스토리지 서비스 '아마존 S3(Amazon Simple Storage Service)' 기반 데이터 레이크(Data Lake)를 구축했다. 또 데이터 분석을 용이하게 해주는 대화형 쿼리 서비스 '아마존 아테나(Amazon Athena)'를 도입해 데이터 레이크로부터 게임 데이터를 통합하고, 게임 사용자 행동과 관련된 인사이트를 확보 중이다. \n",
"이를 통해 카카오게임즈는 게임 봇을 탐지하고 제거하는 방식으로 사용자 경험을 제고했다. 또한 관계형 데이터베이스 서비스 '아마존 오로라(Amazon Aurora)'를 활용해 게임 내 구매와 같은 대규모 데이터베이스 거래를 처리하고 있다. 이밖에도 카카오게임즈는 ML 모델 구축, 교육 및 배포를 위한 완전 관리형 서비스 '아마존 세이지메이커(Amazon SageMaker)'를 활용할 예정이다.\n",
"\"\"\"\n",
"\n",
"print(nlp(question=\"카카오 게임 전문 계열사는?\", context=context))\n",
"print(nlp(question=\"AWS의 클라우드 오브젝트 스토리지 서비스는?\", context=context))\n",
"print(nlp(question=\"AWS의 관계형 데이터베이스 서비스는?\", context=context))\n",
"print(nlp(question=\"AWS의 ML 모델 완전 관리형 서비스는?\", context=context))"
]
}
],
"metadata": {
"kernelspec": {
"display_name": "conda_pytorch_p38",
"language": "python",
"name": "conda_pytorch_p38"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.8.12"
}
},
"nbformat": 4,
"nbformat_minor": 5
}