Stimulator

機械学習とか好きな技術話とかエンジニア的な話とかを書く

Python

PythonでHatenaブックマークのホットエントリを取得して表示する

- はじめに - この記事は、Xonsh Advent Calendar 2017 - Qiita 25日目最終日の記事です。本記事では、PythonスクリプトでHatenaブックマークのホットエントリのリストを取得、xonshへ表示する内容を記載します。追記:2018/11/23 ptk 2.xでは、本記事のコー…

Python Prompt Toolkitで対話的な選択コマンドを作る

- はじめに - この記事は、Xonsh Advent Calendar 2017 - Qiita 23日目の記事です。遅れ気味ですが、Python Prompt Toolkit (以下、ptk)を利用して、対話型のセレクタ(上下矢印で回答を選択できるやつ)を作りたいなと思います。名前が分からないんですが、se…

xonshのCore Eventsまとめ

- はじめに - この記事は、Xonsh Advent Calendar 2017 - Qiita 16日目の記事です。前日のxonshのExceptionを見やすくする記事で手こずって遅れ気味です。本記事では、Xonshの大事なCore Eventsについてまとめます。 アジェンダ - はじめに - - xonshのCore …

XonshのException発生時のtracebackを見やすくする

- はじめに - この記事は、Xonsh Advent Calendar 2017 - Qiita 15日目の記事です。完全に遅刻しています。3日間xonsh本家のコードを読みながら「あーでもないこーでもない」とやっており遅れました。結論を先に述べてから、後半でその経緯も話します。 Xont…

PythonのException発生時のTracebackを綺麗に見る

- はじめに - PythonでOSSパッケージ等を利用していると、Exceptionが発生した際に表示されるTraceback(正確にはスタックトレース)がかなり長い場合がある。例えば、以下の簡易なコード実行で表示されるTracebackの行数は30近くなる。 import pandas as pd d…

xonshにおけるxontribの紹介

- はじめに - この記事は、Xonsh Advent Calendar 2017 - Qiita 14日目の記事です。xonshにおけるいわゆる拡張機能であるところのxontribについて書いていきます。「オススメXontrib!」と行きたい所ですが、そもそも2017年末時点で公開されているxontribは…

xonshrcを書く

- はじめに - この記事は、Xonsh Advent Calendar 2017 - Qiitaの9日目の記事です。1日目にXonshを勧める記事を書いて「アドベントカレンダーでxonshrcのオススメ設定が出揃う」と言ったものの、なかなかそれらしい記事が出てこないので書いておきます。 Pyt…

xonshの過去のコマンド履歴を可視化する

- はじめに - この記事は、Xonsh Advent Calendar 2017 - Qiitaの6日目の記事です。せっかくxonshではMatplotlibが使えたりするので、Command履歴の分析等の補助をする関数を書いてメモしておきたいと思います。 - xonshのhistory - xonshの過去の入力履歴は…

Xonshでmatplotlibグラフをコンソールにインライン描画してメモリ状況を観察する

- はじめに - この記事はXonsh Advent Calendar 2017 4日目の記事です。Xonshの中にはxontribというメソッド群が存在します。 その中のmplhooksは、画像の描画をサポートしてくれます。本記事では以下について記述します xontrib.mplhooksを利用したxonshコ…

Webスクレイピングする際のルールとPythonによる規約の読み込み

- はじめに - この記事は Webスクレイピング Advent Calendar 2017 - Adventar の1日目の記事です。近年では、Pythonが様々な場面で使われるようになりました。 Webからデータを取ってくる際のスクリプトとして利用し、そのままデータを機械学習における学習…

Pythonistaに贈るXonshのススメ

- はじめに - この記事は Xonsh Advent Calendar 2017 1日目 の記事です。タイトルが煽りです。なんとなく贈るという単語が12月っぽいです。内容は、Pythonで動くShellである「xonsh」の勧めを書く記事です。 追記2018/06/25:xonshの設定に関する記事を書き…

「仕事ではじめる機械学習」を読んだので作者に媚を売る

- はじめに - 以下を読んで、筆者ら (@chezou, @tokoroten, @hagino3000) ともTwitterで相互フォローだし、いっちょ媚び売るために感想記事でも書いとくかみたいな記事。www.oreilly.co.jp私は「企業で機械学習プロジェクトをいくつか経験している」「書に載…

Pythonとカーネル密度推定(KDE)について調べたまとめ

- はじめに - 端的にやりたい事を画像で説明すると以下 データ標本から確率密度関数を推定する。 一般的な方法としては、正規分布やガンマ分布などを使ったパラメトリックモデルを想定した手法と、後述するカーネル密度推定(Kernel density estimation: KDE)…

Workplace by FacebookのGraph APIによる投稿、情報取得、DMの操作メモ

- はじめに - 弊社では、WorkplaceなるFacebookを模した社内SNSを利用している。 1年弱使ったが、非常に出来が良くなりつつある社内ツールである。見やすく扱いやすくするTipsも書いたくらい使っている。 vaaaaaanquish.hatenablog.com WorkplaceにはGraph A…

UbuntuにPythonのWebスクレイピングと自然言語処理環境を作るメモ

- はじめに - Webから文章を取得して、自然言語処理かけた後に機械学習にかけるみたいな事はままある。大体Docker使えば良いんだけど、そうじゃないんだよなという時のための個人的なメモ。Ubuntu 16.04でPython3.xなら大体インストールできるはず。 - スク…

簡易にSlackへPostする方法とPythonスクリプト

- はじめに - Pythonで機械学習スクリプトを回して終了した際にSlack通知欲しい場合がある。SlackへPostする方法はいくつかある。多分Incoming WebHooksで設定するのが一番楽。数分でできるメモ - Slack側の設定 - 自分が参加しているhogehogeチャンネルのcu…

PyCon JP 2017に参加しました - 後半 #pyconjp

- はじめに - PyCon JP 2017の2日目(正確にはtutorial含め3日目)を聴講してきたhttps://www.pycon.jp/ 1日目は昨日PyCon reject Conference含めて投稿した - Keynote - https://pycon.jp/2017/ja/talks/keynote/Pandasのコミッタの堀越真映さんの登壇Pandas…

PyCon JP 2017に参加しました - 前半 #pyconjp

- はじめに - PyCon JP 2017の1日目(正確にはtutorial含めると2日目)を聴講してきたhttps://www.pycon.jp/2日目も出るけど話長くなりそうなので分割先日、PyCon JP Reject Conferenceなるものにも参加してきたので冒頭で少しだけ触れておく - PyCon JP Rejec…

Firefox headlessモードをUbuntuとPythonとSelenium環境で動かす

- はじめに - headless Chromeが来た頃、Firefoxのheadless対応の噂がありました。ヘッドレスFirefoxも近々出るよ / 他46コメント https://t.co/kxeWpaLiTR “PythonでWebスクレイピングする時の知見をまとめておく - Stimulator” https://t.co/eiKaWd1lCb— …

MacへのJupyter導入からextensionと設定メモ

- はじめに - 業務PCがWinからMacになりまして、Jupyter notebookしたいので自分の設定とextensionの導入までやったメモ。あとChrome拡張使ってCSSを書き換えている話とか。 最初に参考資料を示しておくと、どのネット記事よりも以下extensionのGithubリポジ…

PythonでWebスクレイピングする時の知見をまとめておく

- はじめに - 最近はWebスクレイピングにお熱である。趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。最近この手の記事は多くあるものの「~して…

Pythonのhttp.serverを利用してWebスクレイピングのunittestを書く

- はじめに - 「Webスクレイピングで情報を収集する」という内容は多い。しかし、Webスクレイピングのコードは肥大化しやすいだけでなく、細かな変更が多くなる。 テストを書いて変更の影響をちゃんと見ておく必要性が高い。unittestとhttp.serverを使ったテ…

headless chromeをPythonのseleniumから動かして引数を考えた (Ubuntu 16.04)

- はじめに - Chrome 59が正式版となりheadless版も正式に動き始めました。めでたい。New in Chrome 59 | Web | Google Developersheadless chromeをUbuntuに導入してPythonから触ったという記事です。Ubuntuへの導入から、実行時の引数となるargsの考察など…

DCGANで名刺のデザインを試みた

- はじめに - 社内ハッカソンと社内勉強会のネタとして、今更ながらGenerative Adversarial Networks*1 (GAN)とその応用とも言えるモデルであるDeep Convolutional Generative Adversarial Networks*2 (DCGAN)について調査し、実際に検証を行った。この記事…

Djangoで送信された画像データをPyhon上で処理するWebサービスを作る

- はじめに - 自分のWebサービスは基本PythonのDjangoフレームを利用している。Djangoでフォームから画像を投稿してもらって、それを受け取り、画像処理や機械学習で色々やって画像として返す、といったサービスを作りたい時のメモ。実際に「ドイツのトリお…

dlibのSimple_Object_detectorを用いたPythonでの物体検出器の学習

- はじめに - これはこの記事の続きで、dlibを使って物体検出をしようというものである。まあ正確には、dlibには「顔検出器の学習」ってのは無くて「物体検出器の学習」の機能を使って、顔検出器の再学習がしたいという記事です。dlibを使う際の参考になれば…

dlibを用いた顔検出器と物体検出器とその学習

- はじめに - dlibのSimple_Object_Detectorクラスを使った物体検出用カスケードの学習をする記事。dlibは機械学習ライブラリとして2006年から始まったプロジェクトで、基本的なSVMや線形アルゴリズム、Bayesian Network等に加えて、機械学習関係で用いるよ…

PythonでGoogle Cloud Visionを使った顔検出

- はじめに - 前回の記事でGoogle Cloud VisionのAPIキーを発行しました。そのAPIキーを使って、Pythonを使った顔検出(Face Detector)をやります。顔認識じゃないです。顔検出です。 - Google APIのFACE_DETECTIONになげるやつ - 以下Pythonコードです。 変…

Google Cloud Visionを登録しよう

- はじめに - Google Cloud Visionがすごい。とにかくすごい。 クレジットカードが無いと利用出来ないのはちょっとネックだけど。 でも今なら$300分を無料で使えるし、機械学習データ作る用にでも是非。 - APIキー発行まで - Google Cloud Platformのコンソ…

OpenCVとdlibとOpenFaceでの顔検出と知見まとめ

- はじめに - 色々あって顔検出をする機会があった。世の中、顔認識(Face Recognition,Facial Recognition)と顔検出(face detection)がごっちゃになってるじゃねえかと思いつつ、とにかく画像から人の顔を高精度で出したいんじゃという話。先に結論を言うと…