Stimulator

機械学習とか好きな技術話とかエンジニア的な話とかを書く

機械学習

Rustでグラフをplotするライブラリのまとめ

- はじめに - Rustでグラフを描画したいと思った時に調べたクレートとその実装、機能のまとめた時のメモ。現状はplottersを使っておけば間違いなさそうだが、目的によっては機能で選択する場合もありそう。 - はじめに - - 前提知識 - - グラフ描画クレート…

axumとtch-rsでRustの画像認識APIを作る

- はじめに - PyTorchのRust bindingsであるtch-rsを使って、画像認識APIを実装する時のメモ。今回は非同期ランタイムのtokioと同じプロジェクト配下で開発されているaxumを利用する。 - はじめに - - axumによるHTTPサーバ構築 - hello world base64による…

Rustでlabel propagationを実装した

- はじめに - 半教師あり学習のアルゴリズムの1種であるlabel propagationをRustで実装し、クレートとして公開した。github.com本記事は、label propationの実装と検証を行った際のメモである。 - はじめに - - label propagationとは - - Rustによる実装 - …

Pure Rustな近似最近傍探索ライブラリhoraを用いた画像検索を実装する

- はじめに - 本記事は、近似最近傍探索(ANN: Approximate Nearest Neighbor)による画像検索をRustを用いて実装した際のメモである。画像からの特徴量抽出にTensorFlow Rust bindings、ANNのインデックス管理にRustライブラリであるhoraを利用した。Rustと…

Rustによる機械学習概覧を技術書典11に寄稿するまでの軌跡

- はじめに - 今回、技術書典11に「Rustによる機械学習概覧」というタイトルで、所属企業であるエムスリー株式会社の執筆チームより出る「エムスリーテックブック3」に文章を寄稿した。執筆チームからの熱いコメントは以下。販売ページは以下。 techbookfest…

Rustで扱える機械学習関連のクレート2021

- はじめに - 本記事では、Rustで扱える機械学習関連クレートをまとめる。普段Pythonで機械学習プロジェクトを遂行する人がRustに移行する事を想定して書くメモ書きになるが、もしかすると長らくRustでMLをやっていた人と視点の違いがあるかもしれない。 追…

WebAssemblyで機械学習Webアプリ「俺か俺以外か」をつくった

- はじめに - 文章がローランド(@roland_0fficial)様っぽいか判定するサービスをつくった。できてた『ばんくし』は俺以外でした https://t.co/MxSTPmKVWL #oreka_oreigaika via @vaaaaanquish— ばんくし (@vaaaaanquish) 2020年12月26日 学習済みモデルをダ…

Rustによるlindera、neologd、fasttext、XGBoostを用いたテキスト分類

- はじめに - RustでNLP、機械学習どこまでできるのか試した時のメモ。Pythonどこまで脱却できるのか見るのも兼ねて。コードは以下に全部置いてある。 GitHub - vaaaaanquish/rust-text-analysis: rust-text-analysis - はじめに - - 形態素解析 - neologd l…

機械学習パイプライン構築を楽にするgokart-pipelinerを作った

- はじめに - luigi、gokartで作ったtaskのパイプライン構築をちょっと楽にする(かもしれない)管理するためのツールを作った。github.com近年、MLOpsの一部である機械学習のためのパイプラインを構築するためのツールは飽和状態にあるけどそれらと比較して…

ダジャレを判定する

- はじめに - 近年、IT業界のダジャレは熾烈の一途を辿っている(ITだけに) 。類義語を巧みに取り入れたダジャレ、難読化されたダジャレなどが増加し、一体どれで「初笑い」すれば良いのか悩む若者も少なくない。 そのような背景があり、ダジャレを判定するア…

機械学習モデリングの広辞苑的書籍「Kaggleで勝つデータ分析の技術」が良かったので筆者に媚を売る

- はじめに - 当ブログでは恒例になっている、献本されたので筆者に媚を売るシリーズです。今回は10/9に発売予定の「Kaggleで勝つデータ分析の技術」という書籍なんですが、既に発売前にしてAmazonベストセラー1位。豪華著者陣とKaggleにおいては日本有数の…

「FINAL FANTASY XVの人工知能」がなかなか面白かったので書評

- はじめに - このブログの人気シリーズの一つ、「献本されて読んだら良かったので書評で作者に媚を売ろうシリーズ」です。今回は、あるきっかけで「FINAL FANTASY XV の人工知能 - ゲームAIから見える未来」(以下 FF本)という本を頂く形になりました。FIN…

Pytorchでpretrainモデルを用いた画像向けSiameseNetworkのメモ

- はじめに - NIPS 2016のSiamese Neural Networks for One-shot Image Recognitionを参考に、画像の距離学習を行う。Siamese Networkは、各クラスの画像量にバラつきがあり、一部クラスが数枚しかない学習データでも上手く学習させられるネットワークである…

「機械学習のための特徴量エンジニアリング」が良かったので訳者に媚を売る

- はじめに - 本ブログでは恒例になりつつある、献本されたので媚を売るシリーズです。「機械学習のための特徴量エンジニアリング」は2/23に発売される、機械学習エンジニアのための書籍です。本記事は、筆者に媚びを売りつつ、どういった内容の書籍か、どう…

horovodを用いたPytorchの分散学習

- はじめに - 近年、分散深層学習の研究、ライブラリ開発が盛んに行われている。本記事はuber社が公開しているhorovodを利用した分散CNNのメモである。 - 前提 - horovodとは、バックエンドをOpenMPIとしTensorFlow、Keras、PyTorchを最小限のコード変更で分…

複数ノードDockerでChainerMNを動かすためのTips

- はじめに - ChainerMNがついに本家Chainerにマージされました。分散深層学習への本気度が伺えます。github.com 節目という事で、Dockerを利用して複数ノードでChainerMNするために行った事のメモをTips形式で残しておこうという記事です。私は半年くらい前…

PyTorchで学習済みモデルを元に自前画像をtrainしてtestするまで

- はじめに - 最初のステップとなる「学習済みのDeep Learningモデルをpre-train modelとして自分が用意した画像に対して学習」する時のメモ。多分これが一番簡単だと思います。 - はじめに - - 準備 - - pretrainモデルで簡易に学習する - - modelを保存す…

MANABIYAで「AI屋さんの1日」なるタイトルで登壇した話とその内容

- はじめに - 以下、MANABIYA techなるイベント内のAIセッションにて登壇させて頂きました。manabiya.tech大きなスペースでフザけたタイトルで発表するという最悪さでしたが、満員になり立ち見状態でした。 ありがとうございました。 正当な方向性でいけば登…

『人工知能プログラミングのための数学がわかる本』が機械学習研究入門書としてとても良さそうだった

- はじめに - 本を読んで筆者に媚を売る記事シリーズです。「人工知能プログラミングのための数学がわかる本」という書籍を筆者の石川 聡彦(Aidemy)@akihiko_1022さんから譲り受けました。人工知能プログラミングのための数学がわかる本作者: 石川聡彦出版…

CIKM2017聴講メモ(後編)

- はじめに - シンガポールで行われているInternational Conference on Information and Knowledge Management (CIKM) 2017に参加した。workshop day + main conference day (3day) の合計4日間。 メモはその場で書いたものを少し編集しただけで、論文を詳し…

CIKM2017聴講メモ(前半)

- はじめに - シンガポールで行われているInternational Conference on Information and Knowledge Management (CIKM) 2017に参加した。workshop day + main conference day (3day) の合計4日間。 メモはその場で書いたものを少し編集しただけで、論文を詳し…

「仕事ではじめる機械学習」を読んだので作者に媚を売る

- はじめに - 以下を読んで、筆者ら (@chezou, @tokoroten, @hagino3000) ともTwitterで相互フォローだし、いっちょ媚び売るために感想記事でも書いとくかみたいな記事。www.oreilly.co.jp私は「企業で機械学習プロジェクトをいくつか経験している」「書に載…

Pythonとカーネル密度推定(KDE)について調べたまとめ

- はじめに - 端的にやりたい事を画像で説明すると以下 データ標本から確率密度関数を推定する。 一般的な方法としては、正規分布やガンマ分布などを使ったパラメトリックモデルを想定した手法と、後述するカーネル密度推定(Kernel density estimation: KDE)…

UbuntuにPythonのWebスクレイピングと自然言語処理環境を作るメモ

- はじめに - Webから文章を取得して、自然言語処理かけた後に機械学習にかけるみたいな事はままある。大体Docker使えば良いんだけど、そうじゃないんだよなという時のための個人的なメモ。Ubuntu 16.04でPython3.xなら大体インストールできるはず。 - スク…

WebDBForum2017で登壇しました

- はじめに - 9月18日から9月20日までの3日間、お茶の水女子大学で開催されていたWebDBフォーラム2017に参加し、会社員として登壇した。WebDB Forum 2017 第10回Webとデータベースに関するフォーラム登壇では、自社のサービスについてと機械学習プロジェクト…

SIGIR 2017に参加した

- はじめに - 先月、4日間に渡って東京の京王プラザホテルで開催されたSIGIR 2017に会社員として参加した。SIGIR2017 – The 40th International ACM SIGIR Conference on Research and Development in Information Retrieval参加に10万程必要な高額な学会で…

PyCon JP 2017に参加しました - 前半 #pyconjp

- はじめに - PyCon JP 2017の1日目(正確にはtutorial含めると2日目)を聴講してきたhttps://www.pycon.jp/2日目も出るけど話長くなりそうなので分割先日、PyCon JP Reject Conferenceなるものにも参加してきたので冒頭で少しだけ触れておく - PyCon JP Rejec…

Deep Learning Acceleration勉強会に参加 #DLAccel

- はじめに - こちらに行ってきたので簡単に感想などconnpass.com 別に日常ブログでも良い気がしたけど一応技術なのでここに記録しておく - 所感 - モデルアーキテクチャ観点からの高速化 Yusuke Uchida (@yu4u) | Twitter https://t.co/4t9EEdI19bCNNのモデ…

人工知能学会全国大会に参加した #jsai2017

- はじめに - JSAI2017 – 2017年度 人工知能学会全国大会(第31回) に参加した。今まで学会への参加は学生発表、個人の聴講参加だけだったが、今回は企業ブースでの参加となった。あまり聴講への参加は出来てないがメモ程度に気になったものをまとめておく…

DCGANで名刺のデザインを試みた

- はじめに - 社内ハッカソンと社内勉強会のネタとして、今更ながらGenerative Adversarial Networks*1 (GAN)とその応用とも言えるモデルであるDeep Convolutional Generative Adversarial Networks*2 (DCGAN)について調査し、実際に検証を行った。この記事…