コンサルでデータサイエンティスト

仕事でPythonを書いてます。機械学習、Webマーケティングに興味があります。趣味は旅です。

One class SVM による外れ値検知についてまとめた

はじめに 異常検知技術が実用システムに導入される例が増えています。今回は外れ値検知手法として人気が高いアルゴリズムのひとつであるOne class SVMについてご紹介します。One class SVMとは、機械学習の分類アルゴリズムである Support Vector Machine (S…

PythonでLocal Outlier Factor (LOF)を実装してみた

目次 はじめに Scikit-learnによるLOFの実装 まとめ はじめに 教師なし学習のひとつとして異常検知という分野があります。その中に含まれる手法として、正常時の状態から外れた点を見つけ出す外れ値検知手法があります。外れ値検知は実アプリケーションにも…

git rebase -i コマンドで複数のコミットを1つにまとめる

git

一度commitしたブランチに対してレビュー修正が入り再度コミットする必要がある場合など、複数のコミットを1つにまとめたい時がありますよね。そんなときに便利なgit rebase -i コマンドをご紹介します。 git rebase -i コマンドを使う場面 具体例を使って手…

Pythonで決定木分類器をフルスクラッチで実装してみた

機械学習モデルをスクラッチから実装しようと思い立ったので、第一歩として決定木分類器(Decision Tree Classifer) をPythonで実装してみました。RandomForestやXGBoostなどといった決定木系の機械学習アルゴリズムを使う場面も多いと思うので、その基礎とな…

Pythonを使ってカメラ映像をプレビュー表示しながら動画として保存する

画像を扱う仕事をしていると、カメラを使って自ら画像を撮影しなければいけない場面がありますよね。今回はPCの内臓カメラやUSBカメラを使って、カメラ映像を動画として保存するコードを実装したのでご紹介します。 準備 OpenCVをインストールします。 pip i…

Pythonを使ってDynamoDBにJSONデータをアップロード

Pythonを使って、AWSを代表するNoSQLデータベースであるDynamoDBにJSONデータをアップロードする手順およびスクリプトについてご紹介します。目次 DynamoDBのテーブルを作成する Python を使ってDynamoDBにJSONデータをインポートする まとめ DynamoDBのテー…

GitLabでブランチを切ってMerge Requestを出す

GitLabを使ってチームで開発を進めている会社も多いかと思います。開発の仕事に関わっている方だと、「gitでdevelopからブランチ切ってMerge Request出しといて」なんて言われことがあるのではないでしょうか。慣れないうちは意味不明ですよね。本記事では、…

NoSQLのメリットと選ぶべき理由

NoSQLデータベースに触れる機会があったので、RDBMSとの違いを明らかにしながら利点や特徴についてまとめました。目次 NoSQL とは NoSQL のメリット NoSQLを選ぶべき場面 まとめ NoSQL とは NoSQLとは Not only SQL の略であり、名前の通りデータの処理にSQL…

リスト内包表記を使ってPythonのリストの要素を条件付きで検索・抽出

コードを書く仕事をしていると、Pythonでリストの中から条件に一致する要素だけを抽出するようなスクリプトを書く機会も少なくないと思います。このようなとき、普通はforループを使って書いてしまいたくなるのですが、Pythonのリスト内包表記を使えば、「こ…

PythonのおすすめWebフレームワーク flask 入門

初心者向けに、おすすめのPythonのWeb開発フレームワークのひとつである flask の概要と簡単な実装例についてご紹介します。 目次 PythonのWebフレームワーク Django と flask の違い Django flask flask で Webサイトを作る 準備 ファイル構成 Python ファ…

PythonでCSVからJSON形式に変換する方法

Pythonを用いてCSVからJSON形式に変換する方法についてソースコードと共にご紹介します。目次 CSVデータの1行目にヘッダーがある場合 CSVデータの1行目にヘッダーがなく、自分で指定したい場合 まとめ 参考 CSVデータの1行目にヘッダーがある場合 import jso…

はてなブログでソースコードを表示させる方法

エンジニアの方のブログでよく見かける、プログラムなどのソースコードを載せる方法についてまとめます。 目次 準備 はてな記法モードへの変更方法 はてなブログにソースコードを表示させる まとめ 準備 大前提として、ブログの設定を「はてな記法モード」に…

【Python】ゼロから始めるWindowsユーザ向け環境構築のすすめ

Python を始めてみようかな〜というWindowsユーザーの方のために、最速で簡単にPythonのコードを書き始められる方法をご紹介します。 特に、Windows は Mac と比べて仮想OSのインストールが必要だったりとプログラミング初心者にはとっつきにくいところがあ…

オートエンコーダを用いた異常検知についてまとめた

ニューラルネットワークおよび Deep Learning の応用として、オートエンコーダを用いた異常検知について紹介したいと思います。 目次 オートエンコーダとは オートエンコーダを用いた異常検知 まとめ オートエンコーダとは オートエンコーダ (Auto encoder) …

Local Outlier Factor (LOF) による外れ値検知についてまとめた

教師なし学習に分類される異常検知技術のなかでも、外れ値検知という分野は近年多くのシステムで導入され始めています。今回は、外れ値検知技術のひとつであるLocal Outlier Factor (LOF) について紹介します。 目次 Local Outlier Factor (LOF) とは 定式化…