自然言語処理の前処理の中から、今回はトークナイズ処理に焦点を当てて説明してみようと思います。 ■ トークナイズとは何なのか？ 日本語のように単語と単語がスペースで区切られていない言語に使用する技術です。 例えば `I am sam.` `私はサムです。` 英語…

■ 自然言語処理の流れ ◉ 前処理 学習させたいテキストデータに対して、機械学習モデルで学習出来る形に加工する。 主な処理内容としては… クリーニング処理（テキスト中のノイズ除去） 正規化処理（単語の揺らぎの統一） ストップワード除去（学習時に精度に…

※ 本記事には僕の個人的見解が多分に含まれております。もし違ってたらご容赦ください。 自然言語処理について 自然言語処理研究の歴史 自然言語処理の現状 自然言語処理のビジネス活用事例 ■ 自然言語処理について ・自然言語とは？ 僕たちが普段、自然に喋…