ホーム技術ブログ › 06
2026-09-07 #06

「要確認」を付けて確認する仕組みにした。ただし漏れが残るので、いまは全文を読んでいる

手で直した276件のうち233件は、機械が印を付けていない箇所だった。設計は印を追う形にしたが、精度が追いつくまでは全部読む。

設計human-in-the-loopUIレビュー

1. 設計は「印を追う」形にした。いまは全文を読んでいる

仕組みとしては、機械が確定できなかった箇所に「要確認」の印を付け、それを自分が確認する形にしました。 130万行を毎回頭から読むのは無理なので、そこが出発点です。

ただ、正直に書くと、いまは全文を読んでいます。 印の付け方にまだ漏れが残っていて、印だけを追うと取りこぼすからです。 新しい回は、公開のたびに上から下まで自分で読んでいます。

先にお断り

とはいえ、724本すべてとなると、まだ手が回っていません。 通して読み切れたのは数十本で、大半は機械の校正を通したままです。

ですので、過去の回には校正の漏れが残っているところがあります。 順次読んでいきますので、そこはご了承ください。 気づかれた箇所があれば、各行の ✏️(修正提案を送る)から教えていただけると助かります。 実際、そこから直った箇所がいくつもあります。

印の精度が上がれば、読む速さも追いつきます。 以下は、いまどこまで来ていて、何が足りていないかの話です。

2. 印が付いていない箇所から、8割が見つかっている

これは数字で出ます。手で直した箇所と、そこに要確認の印が付いていたかを突き合わせました。

手で直した箇所 (stage=human)     276件
  うち要確認の印が付いていた        43件  (16%)
  印が無い箇所だった              233件  (84%)

8割は機械が「怪しい」と言わなかったところです。 読んでいなければ、そのまま残っていました。

この数字は、絞り込みの精度が低いという話ではありません。 機械が拾えるのは「形が壊れている」ものまでで、 日本語として自然に読めてしまう誤りは、読まないと出てこないということです。 四本論・会議派・携帯論のたぐいは、全部そちらに入ります。

3. それでも印は効いている

漏れがあるとはいえ、印が無かったころとは読み方が変わりました。

印が無かったころ印を付けてから
1本を頭から均等に読む危ない場所で自然に手が止まる
疲れてくる後半で精度が落ちる後半でも印のある行は拾える
直したかどうかが分からなくなる閉じた行が減っていくのが見える

いまのところ読む量は減っていません。減ったのは、読みながら「ここは大丈夫か」と 何度も引き返す往復のほうです。読む範囲を狭められるかどうかは、印の精度をどこまで上げられるか次第で、 そこはまだ途中です。

4. 機械は白黒つける役ではなく、グレーを集める役にする

機械を判定装置として使うと、グレーを白に倒してしまいます。 実際、確信のない箇所を機械に判定させたときは、自然な日本語を作って埋めるという失敗をしました。

それで役割を変えました。確定できるものは確定させ、 できないものは理由を付けて印にする。機械が得意なのは網羅であって、判断ではなかったです。

全セグメント          1,305,865
  ↓ 機械が確定できたものを除く
要確認キュー              8,493
  ↓ 1本ぶんを開く
1本あたり                 数十件   ← ここだけ見るのではなく、ここから先に見る

5. 「直さない」も判断なので、記録する

校正を「間違いを直す作業」と定義してしまうと、 誤検出に費やした時間が何も生まない扱いになります。

実際には「これは問題ない」も判断で、次からその行を出さないための情報です。

POST /api/review_ok  {"video_id": "...", "idx": 162, "on": true}
  → Upstash の HASH reviewok:<video_id> に記録
  → 次から「要確認」として出てこない

これを入れてから、印が減っていくのが見えるようになりました。

6. コンセプトが決まっていれば、実装は小さい

「印のある行だけに絞って見る」切り替えは、結局これだけでした。

body.onlyneed .seg:not(.needcheck){display:none}
body.onlyneed .sec:not(:has(.needcheck)){display:none}

ふだんは全文を出しておいて、まとめて片付けたいときだけこの表示にします。 既定を「絞り込み表示」にしなかったのは、それをやると読まなくなるからです。

保存操作も消しました。blur で保存すれば 「保存し忘れ」という失敗の型そのものが無くなります。

7. 並び順は、机上では決まらなかった

一覧の並びを「要確認の多い順」から「公開日の新しい順」に変えました。

作るときは多い順が効率的だと思っていたのですが、 毎日使ってみると、動線は新着回をすぐ開くほうでした。 多い順が要るのは、まとめて片付けるときだけです。

採らなかった案

  • 印のある行だけを既定で表示する — 読まなくなる。全文表示を既定にした
  • スプレッドシートに書き出す — 開く気が起きない/反映に手作業が要る/どこを見ればいいか分からない
  • 保存ボタンを置く — 押し忘れが必ず起きる。操作を消せば失敗の型ごと無くなる
  • 要確認の多い順に並べる — 運用してからやめた
  • 確信度の低いものを全部印にする — 印だらけになると、印の意味が消える

まとめ

  • 設計は「印を付けて、それを追う」形。ただし印に漏れが残るので、いまは全文を読んでいる
  • 手で直した276件のうち233件(84%)は、機械が印を付けていない箇所だった
  • 機械が拾えるのは形の壊れまで。自然に読める誤りは、人が読まないと出てこない
  • いまの印の役割は、読みながらの往復を減らすことと、疲れてくる後半を支えること
  • 印の精度を上げれば読む範囲は狭められる。そこはこれから詰める

← 焼き込み字幕をOCRで答え合わせする。fps=1にし… 書き込み口を2つにしたら、人が入れた修正が黙って消え… → 目次へ

ゆる言語学ラジオ・ゆるコンピュータ科学ラジオ 公認/株式会社pedantic の了承と、運営者・安東暁史との合意に基づく協力体制で運営しています。ドメイン yururadio.jp は株式会社pedanticが保有。開発・保守: 安東暁史·このサイトについて·お問い合わせ