【比較実験】生成AI のライティングスキルはどれほど高いのか?

2025.05.07

Share

生成AIの登場により、仕事の進め方や業務効率化のあり方が大きく変化しています。Hakuhodo DY ONEでは、社内外でのAI活用が進み、DIGIFUL編集部でもあらゆる業務に生成AIを取り入れながら、「効率的かつ高品質なアウトプット」の実現を目指しています。この記事では、生成AIによる記事執筆の可能性を探るため、「人間と生成AIが同じテーマで記事をライティングした場合、文章の質や表現力にどのような違いが生まれるのか?」を検証しました。

▼検証をおこなった2つの記事

※本記事のサムネイルは生成AIを活用して作成しています

生成AIと人間のライティング対決のきっかけ

オウンドメディアの運営を担当するマーケターのなかには、記事制作に膨大な時間を費やしている方も少なくないのではないでしょうか?同時に、生成AIを活用することで業務負担を軽減できるのではないかと期待している方もいるでしょう。DIGIFUL編集部においても、記事制作にかかる負荷の大きさは慢性的な課題となっていました。特に、初稿の執筆に膨大な時間がかかるうえ、執筆者のスキルによるばらつきが出てしまうため、編集作業の負荷を増大させる要因となっていました。そこで、当社のチーフAIストラテジストである中原柊監修のもと、記事制作における生成AI活用の検証をおこない、その可能性を探りました。

検証の概要

本検証では「初稿執筆における業務負荷とアウトプットの質」に焦点を当て、初稿作成までの過程を複数の観点で評価しています。また、テーマ選定および構成はDIGIFUL編集部が担当しています。

189287884151_01

189287884151_02-1

【検証結果】勝者は生成AI

生成AIと人間のライティング対決。本検証では、生成AIが勝利を収める結果となりました。生成AIの文章校正力や日本語力、業務効率性は非常に高く、総合力では人間が及ばないという結果に。しかし、生成AIだけで記事制作を完結させるのは難しく、人間には人間の担うべき役割がある、というのが本検証で実感したことです。

検証ポイント① 業務の効率性(執筆工数)

まずは、初稿執筆にかかる時間を比較してみます。

※執筆前のテーマ選定や構成案の作業時間は含めていません

189287884151_03

執筆者は、記事テーマに関する専門知識がありませんでした。情報収集や社内の専門チームへの事実確認をおこないながら執筆を進めたため、執筆時間は合計で約8時間を要しました。それに対し、生成AIの執筆時間はわずか5分で完了。これにより、記事の初期執筆にかかる時間は約95%削減されたことになります。また、プロのライターに依頼した場合、初稿提出までに平均2週間、社員が執筆する場合は約1か月かかることもあります。人間が執筆する場合、どうしてもほかの業務の合間を縫って執筆することになるので、執筆期間が長くなる傾向にあります。しかし、生成AIを活用することにで、記事を企画したその日のうちに初稿作成から編集作業まで対応することも夢ではなくなりました。

執筆作業の効率性が飛躍的に向上したことが分かりました。では、アウトプットの質にはどのような違いがあるのか、次の検証②で詳しく見ていきます。

検証ポイント② アウトプットの質

アウトプットの質を評価するにあたり、評価項目を[文章の国語表現][内容の正確性][ストーリー構成][広報表現]と定め、それぞれ4段階で比較しました。

※4段階評価…◎○△×

▼文章の国語表現

189287884151_04

▼内容の正確性

189287884151_05

▼ストーリー構成

189287884151_06

▼広報表現

189287884151_07

4項目のうち、2項目は同率評価。残りの2項目は生成AIの方が高評価という結果となりました。国語表現や広報表現などは、ある程度一般的な表現ルールが定められていることもあり、安定したアウトプットを実現しやすいことが分かりました。一方で、人間はコンディションや集中力などでアウトプットの質が揺らいでしまうこともあり、比較すると生成AIよりも劣る結果になったのではないかと思います。今回の評価で、生成AIの実力を思い知ったわけですが、同時に「生成AIは読み手の心情を配慮することが苦手」ということもわかりました。全体の構成や訴求は問題ないですが、無機質な表現など、読み手の心情への配慮が欠けている表現がいくつか見受けられました。表現幅や読み手への配慮は、プロンプトの工夫である程度は乗り越えられますが、最終アウトプットは人間がしっかり確認し、品質の責任を持つということも大事なポイントになりそうです。

〔おまけ〕検証ポイント③ 編集工数

今回の検証にあたり、編集工数も大幅な削減ができることが分かりました。

189287884151_08

今回の検証では、生成AIの執筆の方が日本語の正しさや文章構成の質において優れているかなどを主な目的として調査しましたが、編集工数にも大きな差が出ることが分かりました。今回、初稿内容を確認するにあたり、生成AI記事は20-25分、人間記事は60-90分の原稿確認時間を要しており、編集工数が約60-70%削減されました。

検証ポイント④ 記事タイトルの引きの強さ

2月6日に人間執筆記事、2月7日に生成AI執筆記事をDIGIFUL上で公開しました。その後、Hakuhodo DY ONEのメルマガにこれら2記事の案内を送付。執筆者については伏せ、「タイトルだけを見て、気になる記事をクリックしてください」とだけ案内し、そのクリック率を比較しました。

189287884151_09

結果は、ほとんど変わりませんでした。生成AI執筆は記事タイトルも生成AIで作成しましたが、記事タイトルだけではどちらの記事も大差ない結果となりました。

検証ポイント⑤ 流入と滞在時間

公開から1か月の流入状況と滞在時間を比較しました。

▼検索表示回数

伸び方は似ているものの、1か月後の検索表示回数は生成AI記事が人間執筆記事の約3倍を獲得。

189287884151_10

▼ページ流入数

ページ流入自体は、生成AI記事が人間執筆記事の+22ポイント獲得。

189287884151_11

▼滞在時間(読了率)

生成AI記事の読了率は50%と高い数値を記録。一方で、滞在時間は人間執筆よりも約1分短い。

189287884151_12

二つの記事で大きな差が生まれたのは、検索表示回数と滞在時間(読了率)でした。生成AI記事は、一般的な読了率の推移と同様に徐々に読了率が落ちていき、最終数値が50%で終了していました。一方で、人間執筆の記事は、1章目で読了率が30%まで減少したものの、そこから記事末尾まで30%を維持しています。また、滞在時間も人間執筆の方が1分程度多いことが分かりました。

構成を比較すると、生成AIの記事は「ノリの醸成」についての言及が序盤に登場しているのに対し、人間執筆記事は、市況感から順を追う構成となっています。

これらの結果から、生成AI記事は短時間でサクッと読むことを求めている読者が多く、人間執筆記事は、一定の読者がしっかりと読み込んでいたのかもしれない、と仮説を立てることができます。そういった意味では、結論から端的に展開されている生成AI執筆記事も、市況感から順を追って展開されている人間執筆記事も、どちらも読者の期待に応えることができる記事であったといえます。

総評:本検証を監修した中原柊より

ここまで読んでいただき、いかがでしたでしょうか?

もしかしたら、生成AIがもつ実力の高さに恐怖を感じた方もいたかもしれません。しかし、AIを恐れる必要はありません。実際にDIGIFUL編集部でも、業務が効率化されたことで生まれた時間を記事トピックの選定や読者に寄り添った表現を磨くなど、創造的な作業に集中できています。これこそがよくいわれる「人とAIの共創」の姿だと実感しています。

とはいえ、新技術に恐怖を感じる方がいるのは自然なことだと思います。
今回のような現象は、これからさまざまな領域で起こっていく(あるいはすでに起こっている)でしょうから。

そこで重要なのが、「組織的自己効力感」を高めることです。
簡単にいえば、自分たちならAIを使いこなせるという自信のことです。
自己効力感が高ければ、脅威を感じても前向きにAIと共創できますが、低ければ拒否反応が生じ、AI導入やAIエージェント導入の取り組みが逆効果になりかねません。

AIによる作業代替が進む今、「AIを使おう」だけではなく「AIを使える」という支えの必要性も、この取り組みの結果を通じて、強く感じています。

 

監修

株式会社Hakuhodo DY ONE
中原 柊

shu nakahara

大手コンサルティングファーム、法人向けSaaSスタートアップを経て、2023年にアイレップに参画。メディア/Webサービス/通信/エネルギー業界を中心に、DX企画、CX改革、事業戦略、販促領域などに携わる。DX部門において機械学習系スタートアップとの協業やメディアでの情報発信等にも従事。その後、社内最速でマネージャーに昇進。SaaSスタートアップでは、法人向け動画制作クラウドソリューションのカスタマーサクセス部長 兼 DXコンサルティンググループとして、カスタマーサクセスの戦略からオペレーション構築を通し、契約更新率の大幅改善を達成。また、新規プロダクトの立ち上げ等を主導。ChatGPTをはじめとしたジェネレーティブAIの社内オペレーション組み込みを力強く推進し、外部セミナー等において情報発信活動にも携わる。主な著書に『DXの真髄に迫る』(共著/東洋経済新報社)がある。

この記事の著者

DIGIFUL編集部

「DIGIFUL(デジフル)」は、株式会社Hakuhodo DY ONEが運営する「デジタル時代におけるマーケティング」をテーマにした、企業で活躍するマーケティング担当者のためのメディアです。

当社がこれまでに得たデータや経験から、具体的事例・将来展望・業界の最新注目ニュースなどについて情報を発信しています。ニュースやコラムだけでなく、日常業務や将来のマーケティング施策を考えるときに役立つダウンロード資料や、動画で学べるウェビナーコンテンツも随時追加していきます。

デジタルマーケティングの最新情報や知見を得るための信頼できる情報源の1つとしてお役立てください。

「DIGIFUL(デジフル)」は、株式会社Hakuhodo ...

Share

一覧に戻る