TensorFlow(PyTorch)

TA14_1 テキスト推定 web

この記事は約8分で読めます。

tensorflow.jsを使った検討モデルです。TA14 テキスト推定 クラス分類 検討と同じ機能です。
ほとんどLLMで作成しています。TA12_1 画像分類2 Web のテキスト版です。

# TensorFlow.js テキスト分類 転移学習デモ

このツールは、Universal Sentence Encoder (BERTアーキテクチャベース) を用いて、テキスト分類モデルの転移学習・推論をブラウザ上で行うデモです。

## 主な機能
- フォルダごとドラッグ&ドロップで学習データ(テキストファイル)を読み込み
- 学習パラメータ(エポック数・バッチサイズ・学習率)を指定して転移学習
- 学習済みモデルの保存・読込
- 単一テキスト推論・フォルダ一括推論(バッチ推論)
- 推論結果の画面表示・JSONダウンロード
- モデル・履歴の初期化

## 使い方

### 1. 学習データの準備
- 各カテゴリごとにサブフォルダを作成し、その中にテキストファイル(.txt)を配置してください。
- 例: `positive/review1.txt`, `negative/review2.txt`

### 2. 学習データの読み込み
- フォルダごと「ここにドラッグ&ドロップ」エリアにドラッグ&ドロップします。
- クラス一覧・ファイル数が表示されます。

### 3. 学習パラメータの設定
- エポック数、バッチサイズ、学習率を必要に応じて変更します。

### 4. モデルの学習
- 「モデルを学習」ボタンを押すと学習が始まります。
- 学習進捗・損失・精度グラフが表示されます。

### 5. モデルの保存・読込
- 「モデルを保存」ボタンで学習済みモデルをダウンロードできます。
- 「モデルを読み込む」ボタンで保存済みモデルを再読込できます。

### 6. 推論
- 「単一テキスト」タブでテキストを入力し「推論開始」ボタンで推論できます。
- 「フォルダ一括」タブで複数テキストファイルを含むフォルダを選択し「一括推論開始」ボタンでバッチ推論できます。
- 結果は画面表示・JSONダウンロードが可能です。

### 7. 初期化
- 「初期化」ボタンでモデル・履歴・クラス情報をすべてリセットします。

## 技術構成
- [TensorFlow.js](https://www.tensorflow.org/js)
- [@tensorflow-models/universal-sentence-encoder](https://github.com/tensorflow/tfjs-models/tree/master/universal-sentence-encoder)
- Chart.js(学習曲線表示)

## 注意事項
- 初期化直後や学習前は推論できません。
- 推論・学習にはWebブラウザ上での計算資源を使用します。
- モデルや履歴が残っている場合は「初期化」ボタンで完全リセットできます。

## ファイル構成
- `index.html` : メインUI
- `config.js` : グローバル変数・UI要素取得
- `ui.js` : UI制御
- `file.js` : ファイル入出力・データ前処理
- `model.js` : モデル構築・学習・推論
- `style.css` : スタイル

---

MIT License

このツールは、Universal Sentence Encoder (BERTアーキテクチャベースのモデル) を用いてテキスト分類モデルの転移学習を行います。

学習させたいカテゴリごとのテキストファイル(例:positive/review1.txt, negative/review2.txt)をフォルダごとここにドラッグ&ドロップしてください。

フォルダをここにドラッグ&ドロップしてください。

ファイルが選択されていません。

学習パラメータ:

学習進捗:

準備完了。

テキストを入力してください。

推論結果:

テキストを入力してください。

使い方

・モデルを読み込むまで待ちます。
・学習用のフォルダで分けたテキストグループを入力します(まとめて)。環境によっては、フォルダ当たり100枚しか入力できないようです。
・単一テキストの場合は、文章をそのまま入力します。推論開始します。予測結果を評価します。
・モデルの保存と読み込み、初期化もTA12_1画像のものと同じです。

動画は、IMDB映画レビューのデータセットを使っています。肯定と否定のレビューに無関係なセンテンスのニュートラルを追加して、3クラスで行っています。
日本語では未実施。

ファイル

TA14_1.zip

コメント

Translate »
タイトルとURLをコピーしました