Python で日時関連のデータ操作をするときにdatetime モジュールを使用されている方も多いと思いますが、pandasを使ったTimestamp関連の操作が便利なので個人的にはおすすめです。本記事は時刻を含むデータを処理する際に、決まった範囲の時刻リストを作りた…

3D object detection (3D 物体検出) に関する2018-2019期の最新の論文『Orthographic Feature Transform for Monocular 3D Object Detection』*1について読んでまとめました。3D Object detection とは、自動運転などにおいて 3次元空間における物体の位置情…

サーバ上やローカルのLinuxで作業していると、直近で必要のないファイルが溜まって容量が不足してしまうことがありますよね。そんな問題を解決してくれるのが圧縮・展開系のコマンドです。 zipやgzipなどさまざまなコマンドがありますが、それらと比較して高…

Raspberry Pi や AWS EC2など、ローカルからリモートサーバに接続してPythonのプログラムを書く際にJupyter notebookを使いたくなることがあると思います。今回はSSH先でJupyter notebookを立ち上げて、ローカルで使用する方法についてご紹介します。目次 SS…

Scikit-learnを始めとしたパッケージが充実してきているおかげで、データ分析に関わる人もスクラッチから機械学習モデルを実装する機会が少なくなっています。しかし、機械学習モデルを理解するためにはそのモデルを実装してみるのが一番早いと言われていま…

機械学習の中でも教師なし学習に分類される分野として異常検知という技術があります。研究分野としては近年下火になりつつあるものの、人工知能やAIを使った異常検知技術はビジネス界隈では期待の大きい分野として有名です。本記事では、異常検知分野のなか…

はじめに 異常検知技術が実用システムに導入される例が増えています。今回は外れ値検知手法として人気が高いアルゴリズムのひとつであるOne class SVMについてご紹介します。One class SVMとは、機械学習の分類アルゴリズムである Support Vector Machine (S…

目次 はじめに Scikit-learnによるLOFの実装 まとめ はじめに 教師なし学習のひとつとして異常検知という分野があります。その中に含まれる手法として、正常時の状態から外れた点を見つけ出す外れ値検知手法があります。外れ値検知は実アプリケーションにも…

一度commitしたブランチに対してレビュー修正が入り再度コミットする必要がある場合など、複数のコミットを1つにまとめたい時がありますよね。そんなときに便利なgit rebase -i コマンドをご紹介します。 git rebase -i コマンドを使う場面 具体例を使って手…

機械学習モデルをスクラッチから実装しようと思い立ったので、第一歩として決定木分類器(Decision Tree Classifer) をPythonで実装してみました。RandomForestやXGBoostなどといった決定木系の機械学習アルゴリズムを使う場面も多いと思うので、その基礎とな…

画像を扱う仕事をしていると、カメラを使って自ら画像を撮影しなければいけない場面がありますよね。今回はPCの内臓カメラやUSBカメラを使って、カメラ映像を動画として保存するコードを実装したのでご紹介します。 準備 OpenCVをインストールします。 pip i…

Pythonを使って、AWSを代表するNoSQLデータベースであるDynamoDBにJSONデータをインポート（アップロード）する手順およびスクリプトについてご紹介します。目次 DynamoDBのテーブルを作成する Python を使ってDynamoDBにJSONデータをインポートする まとめ …

GitLabを使ってチームで開発を進めている会社も多いかと思います。開発の仕事に関わっている方だと、「gitでdevelopからブランチ切ってMerge Request出しといて」なんて言われことがあるのではないでしょうか。慣れないうちは意味不明ですよね。本記事では、…

NoSQLデータベースに触れる機会があったので、RDBMSとの違いを明らかにしながら利点や特徴についてまとめました。目次 NoSQL とは NoSQL のメリット NoSQLを選ぶべき場面 まとめ NoSQL とは NoSQLとは Not only SQL の略であり、名前の通りデータの処理にSQL…

コードを書く仕事をしていると、Pythonでリストの中から条件に一致する要素だけを抽出するようなスクリプトを書く機会も少なくないと思います。このようなとき、普通はforループを使って書いてしまいたくなるのですが、Pythonのリスト内包表記を使えば、「こ…

初心者向けに、おすすめのPythonのWeb開発フレームワークのひとつである flask の概要と簡単な実装例についてご紹介します。 目次 PythonのWebフレームワーク Django と flask の違い Django flask flask で Webサイトを作る 準備 ファイル構成 Python ファ…

Pythonを用いてCSVからJSON形式に変換する方法についてソースコードと共にご紹介します。目次 CSVデータの1行目にヘッダーがある場合 CSVデータの1行目にヘッダーがなく、自分で指定したい場合 まとめ 参考 CSVデータの1行目にヘッダーがある場合 import jso…

エンジニアの方のブログでよく見かける、プログラムなどのソースコードを載せる方法についてまとめます。 目次 準備 はてな記法モードへの変更方法 はてなブログにソースコードを表示させる まとめ 準備 大前提として、ブログの設定を「はてな記法モード」に…

Python を始めてみようかな〜というWindowsユーザーの方のために、最速で簡単にPythonのコードを書き始められる方法をご紹介します。 特に、Windows は Mac と比べて仮想OSのインストールが必要だったりとプログラミング初心者にはとっつきにくいところがあ…

ニューラルネットワークおよび Deep Learning の応用として、オートエンコーダを用いた異常検知について紹介します。オートエンコーダ (Auto encoder) とは自己符号器と呼ばれるニューラルネットワークの一種です。ニューラルネットワークにはさまざまな役割…

教師なし学習に分類される異常検知技術のなかでも、外れ値検知という分野は近年多くのシステムで導入され始めています。今回は、外れ値検知技術のひとつであるLocal Outlier Factor (LOF) について紹介します。 目次 Local Outlier Factor (LOF) とは 定式化…