#machine learning の記事
Rasaとhuggingface/transformersを使って日本語の固有表現抽出する
以前にhuggingface/trasformersで固有表現抽出する方法を試してましたが、日本語ではうまく動かせませんでした。今回は日本語の言語モデルの上にファインチューニングして固有表現抽出出来るところまでやってみます。
huggingfaceのtransformersでNER(named entity recognition)を試してみる
最近、BERTで学習済みの日本語言語モデルが使えるようになったらしいhugginfaceのtransformers。自然言語処理界隈では主流になっているらしい。
Kerasを使ってRNN(LSTM)でスパムメッセージの分類をしてみる
自社のサービスで、テキストを分類したりラベリングしたりということをやりたくなったので、文章タスクが得意らしいRNN(LSTM)で単純な分類問題を解いてみたい。
Rasa NLUをPythonのコードから呼び出す方法
そこそこな回数の固有表現抽出処理を連続で行いたいというニーズがあったので、1リクエストで複数の固有表現抽出処理を行うAPIを追加したい。
Heroku Container RegistryでPython + Rasa NLUを動かす
Herokuならサーバを意識する必要がないので楽チンなので、固有表現抽出のRasa NLUをHerokuで動かしてみたいと思います。
Rasa NLUで日本語の固有表現抽出をしてみる
前回Rasa NLUを使って英語文章のintentを分類できるところまで出来たので、今度は日本語でやってみる。
Rasa NLUを使って固有表現抽出器を作りたいので入門してみた
Rasa-xなるよく分からんもんをインストールしろと書いてあるけどいらなそうなのでrasaだけインスコします。
pipで機械学習や自然言語処理用のデータをサクッと持ってきたいのでjp-datasetsというパッケージを作った
データをサクッと取ってきて機械学習とか自然言語処理に使えるパッケージが欲しかったので作ってみました。
pipでGitHub経由でインストール出来る自作パッケージを作る
毎回手作業で作るのめんどいから、とりあえずスクリプトでサクッと取ってこれる状態にしたい。そこでpip installしたらデータをロードする関数をimport出来るようなパッケージを作りたい。