「要確認」を付けて確認する仕組みにした。ただし漏れが残るので、いまは全文を読んでいる
手で直した276件のうち233件は、機械が印を付けていない箇所だった。設計は印を追う形にしたが、精度が追いつくまでは全部読む。
1. 設計は「印を追う」形にした。いまは全文を読んでいる
仕組みとしては、機械が確定できなかった箇所に「要確認」の印を付け、それを自分が確認する形にしました。 130万行を毎回頭から読むのは無理なので、そこが出発点です。
ただ、正直に書くと、いまは全文を読んでいます。 印の付け方にまだ漏れが残っていて、印だけを追うと取りこぼすからです。 新しい回は、公開のたびに上から下まで自分で読んでいます。
先にお断り
とはいえ、724本すべてとなると、まだ手が回っていません。 通して読み切れたのは数十本で、大半は機械の校正を通したままです。
ですので、過去の回には校正の漏れが残っているところがあります。 順次読んでいきますので、そこはご了承ください。 気づかれた箇所があれば、各行の ✏️(修正提案を送る)から教えていただけると助かります。 実際、そこから直った箇所がいくつもあります。
印の精度が上がれば、読む速さも追いつきます。 以下は、いまどこまで来ていて、何が足りていないかの話です。
2. 印が付いていない箇所から、8割が見つかっている
これは数字で出ます。手で直した箇所と、そこに要確認の印が付いていたかを突き合わせました。
手で直した箇所 (stage=human) 276件
うち要確認の印が付いていた 43件 (16%)
印が無い箇所だった 233件 (84%)
8割は機械が「怪しい」と言わなかったところです。 読んでいなければ、そのまま残っていました。
この数字は、絞り込みの精度が低いという話ではありません。 機械が拾えるのは「形が壊れている」ものまでで、 日本語として自然に読めてしまう誤りは、読まないと出てこないということです。 四本論・会議派・携帯論のたぐいは、全部そちらに入ります。
3. それでも印は効いている
漏れがあるとはいえ、印が無かったころとは読み方が変わりました。
| 印が無かったころ | 印を付けてから |
|---|---|
| 1本を頭から均等に読む | 危ない場所で自然に手が止まる |
| 疲れてくる後半で精度が落ちる | 後半でも印のある行は拾える |
| 直したかどうかが分からなくなる | 閉じた行が減っていくのが見える |
いまのところ読む量は減っていません。減ったのは、読みながら「ここは大丈夫か」と 何度も引き返す往復のほうです。読む範囲を狭められるかどうかは、印の精度をどこまで上げられるか次第で、 そこはまだ途中です。
4. 機械は白黒つける役ではなく、グレーを集める役にする
機械を判定装置として使うと、グレーを白に倒してしまいます。 実際、確信のない箇所を機械に判定させたときは、自然な日本語を作って埋めるという失敗をしました。
それで役割を変えました。確定できるものは確定させ、 できないものは理由を付けて印にする。機械が得意なのは網羅であって、判断ではなかったです。
全セグメント 1,305,865
↓ 機械が確定できたものを除く
要確認キュー 8,493
↓ 1本ぶんを開く
1本あたり 数十件 ← ここだけ見るのではなく、ここから先に見る
5. 「直さない」も判断なので、記録する
校正を「間違いを直す作業」と定義してしまうと、 誤検出に費やした時間が何も生まない扱いになります。
実際には「これは問題ない」も判断で、次からその行を出さないための情報です。
POST /api/review_ok {"video_id": "...", "idx": 162, "on": true}
→ Upstash の HASH reviewok:<video_id> に記録
→ 次から「要確認」として出てこない
これを入れてから、印が減っていくのが見えるようになりました。
6. コンセプトが決まっていれば、実装は小さい
「印のある行だけに絞って見る」切り替えは、結局これだけでした。
body.onlyneed .seg:not(.needcheck){display:none}
body.onlyneed .sec:not(:has(.needcheck)){display:none}
ふだんは全文を出しておいて、まとめて片付けたいときだけこの表示にします。 既定を「絞り込み表示」にしなかったのは、それをやると読まなくなるからです。
保存操作も消しました。blur で保存すれば
「保存し忘れ」という失敗の型そのものが無くなります。
7. 並び順は、机上では決まらなかった
一覧の並びを「要確認の多い順」から「公開日の新しい順」に変えました。
作るときは多い順が効率的だと思っていたのですが、 毎日使ってみると、動線は新着回をすぐ開くほうでした。 多い順が要るのは、まとめて片付けるときだけです。
採らなかった案
- 印のある行だけを既定で表示する — 読まなくなる。全文表示を既定にした
- スプレッドシートに書き出す — 開く気が起きない/反映に手作業が要る/どこを見ればいいか分からない
- 保存ボタンを置く — 押し忘れが必ず起きる。操作を消せば失敗の型ごと無くなる
- 要確認の多い順に並べる — 運用してからやめた
- 確信度の低いものを全部印にする — 印だらけになると、印の意味が消える
まとめ
- 設計は「印を付けて、それを追う」形。ただし印に漏れが残るので、いまは全文を読んでいる
- 手で直した276件のうち233件(84%)は、機械が印を付けていない箇所だった
- 機械が拾えるのは形の壊れまで。自然に読める誤りは、人が読まないと出てこない
- いまの印の役割は、読みながらの往復を減らすことと、疲れてくる後半を支えること
- 印の精度を上げれば読む範囲は狭められる。そこはこれから詰める
← 焼き込み字幕をOCRで答え合わせする。fps=1にし… 書き込み口を2つにしたら、人が入れた修正が黙って消え… → 目次へ