DBSCAN: 外れ値/ノイズを発見するための密度ベースクラスタリング
クラスタリングは、類似性が高いデータをグループ化する教師なし学習の一種です。 クラスタリングには様々なアルゴリズムがありますが、使用アルゴリズムごとでデータセットから得られる結果も異なります。 さらに、クラスタリングには...
機械学習・最適化python
機械学習・最適化
統計・線形代数一般化線形モデル (GLM)：一般線形モデルの拡張モデル
一般化線形モデル(Generalized Linear Model: GLM)のコンセプトの学習は、確率分布を統計モデルにどのように組み込むか考え始める機会に繋がります。 では、一般線形回帰モデル(General Lin...
統計・線形代数ブートストラップ法: リサンプリングを利用して母集団の特徴を推定
ブートストラップ法は、データセットから無作為に何度もリサンプリングして母集団の特徴の推定を試みる統計手法です。 複雑な計算を簡単なシミュレーションに置き換えたブートストラップ法は、今日ではコンピュータ技術の発展に伴い、よ...
統計・線形代数p値ハッキング: 統計的有意は本当にシルバーブレットか？
大学の講義で強烈に印象に残ったタイトルのひとつです。 p値ハッキング: p-hackingは、実際は統計的に差がないデータに差があると示してしまう誤ったデータ分析の行為です。 意識的、無意識的な行為に関わらず、知らないう...
統計・線形代数線形代数の基礎: 射影と最小二乗法の理解
線形代数で扱う射影は、高次元のデータセットに対する様々な数学演算の理解に役立ちます。 機械学習、数値計算において、射影の代表的な利用例には線形回帰、特異値分解などがあげられ、その利用は幅広いです。 射影がどのように利用さ...
機械学習・最適化クラスタリング：k-meansクラスタリング
クラスタリングは、データの特徴量から似ているユーザー・製品・サンプルなどをグループ化する方法です。 様々な手法が存在するクラスタリング手法の中でも、k-meansクラスタリングは扱いが簡単な代表モデルのひとつです。 この...
その他plotly: chart-studioでwebに作成したグラフを埋め込む
ニュース記事で目にすることが多くなったインタラクティブなグラフ。自分でも簡単に作れたら…一度くらい考えたことはないでしょうか？ インタラクティブなグラフを作成を可能とするオープンソース・ライブラリー: plo...
その他plotly: plotlyの概要。Pythonでインタラクティブな図を描く
探索的データ分析(EDA)において、データ構造、パターン、異常値を発見するために、より高速、インタラクティブにデータを可視化したいことがあります。 これまで、データ可視化にmatplotlibとseabornを利用してい...
機械学習・最適化オブジェクト同士の類似度を測る方法。代表的な類似度計測方法のまとめ。
類似度は、ふたつのオブジェクトがどれくらい似ているかを示します。オブジェクト同士の類似度を計測する方法は、多くのデータマイニング、機械学習の手法で利用されます。 では、どのようにしてオブジェクト同士の類似度を計測するので...
その他pandas: データ分析に役立つ操作まとめ
pandasはデータサイエンス、データアナリシス、機械学習の分野で広く利用されているpythonのオープンソースパッケージです。 ある程度操作を覚えてしまうと非常に便利、柔軟、パワフルなツールですが、スキルとして身につく...
Profile – プロフィール
