Dies ist eine Übersichtsseite mit Metadaten zu dieser wissenschaftlichen Arbeit. Der vollständige Artikel ist beim Verlag verfügbar.
Evaluating ChatGPT’s Ability to Generate Japanese
2
Zitationen
5
Autoren
2024
Jahr
Abstract
本研究では，系列変換タスクにおいて ChatGPT の日本語生成能力を評価する．ChatGPT は対話形式で様々な自然言語処理タスクに対処可能な大規模言語モデルであり，その言語生成能力の高さは英語では様々なタスクにおいて定量的に評価されている．しかし，日本語における ChatGPT の性能はまだ充分に評価されていない．本論文では，代表的な系列変換タスクである機械翻訳・自動要約・テキスト平易化の各タスクにおいて，既存の教師あり手法と比較しつつ ChatGPT の日本語生成能力を評価した結果を報告する．実験の結果，ChatGPT はいずれのタスクにおいても自動評価では既存の教師ありモデルの性能を下回ったものの，人手評価では既存の教師ありモデルの性能を上回る傾向にあった．また，出力文を詳細に分析したところ，ChatGPT は全体に高品質な日本語文を出力しているが，各タスクの詳細な要請に一部応えられていないという課題が明らかになった．
Ähnliche Arbeiten
Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI
2019 · 8.324 Zit.
Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead
2019 · 8.189 Zit.
High-performance medicine: the convergence of human and artificial intelligence
2018 · 7.588 Zit.
Proceedings of the 19th International Joint Conference on Artificial Intelligence
2005 · 5.776 Zit.
Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI)
2018 · 5.470 Zit.