データ分析で使える！qcutとcutで連続値にラベルをつける方法【pandas入門】
データセット中の連続量の値に対して簡単にラベルを付与したいと思ったことはないでしょうか。例えば、収入の分布を値に応じて「低」「中」「高」などに分けたいなどです。pandasで提供されている関数qcutとcutは簡単にラベ...
その他python
その他
その他相関行列の作成と解釈サポートのための可視化【pandas入門】
pandasはデータサイエンス、データアナリシス、機械学習の分野で広く利用されているpythonのオープンソースパッケージです。 この記事は「pandasを使った相関行列の作成方法」をまとめます。 相関行列 via GI...
機械学習・最適化DBSCAN: 外れ値/ノイズを発見するための密度ベースクラスタリング
クラスタリングは、類似性が高いデータをグループ化する教師なし学習の一種です。 クラスタリングには様々なアルゴリズムがありますが、使用アルゴリズムごとでデータセットから得られる結果も異なります。 さらに、クラスタリングには...
統計・線形代数一般化線形モデル (GLM)：一般線形モデルの拡張モデル
一般化線形モデル(Generalized Linear Model: GLM)のコンセプトの学習は、確率分布を統計モデルにどのように組み込むか考え始める機会に繋がります。 では、一般線形回帰モデル(General Lin...
統計・線形代数ブートストラップ法: リサンプリングを利用して母集団の特徴を推定
ブートストラップ法は、データセットから無作為に何度もリサンプリングして母集団の特徴の推定を試みる統計手法です。 複雑な計算を簡単なシミュレーションに置き換えたブートストラップ法は、今日ではコンピュータ技術の発展に伴い、よ...
統計・線形代数p値ハッキング: 統計的有意は本当にシルバーブレットか？
大学の講義で強烈に印象に残ったタイトルのひとつです。 p値ハッキング: p-hackingは、実際は統計的に差がないデータに差があると示してしまう誤ったデータ分析の行為です。 意識的、無意識的な行為に関わらず、知らないう...
統計・線形代数線形代数の基礎: 射影と最小二乗法の理解
線形代数で扱う射影は、高次元のデータセットに対する様々な数学演算の理解に役立ちます。 機械学習、数値計算において、射影の代表的な利用例には線形回帰、特異値分解などがあげられ、その利用は幅広いです。 射影がどのように利用さ...
機械学習・最適化クラスタリング：k-meansクラスタリング
クラスタリングは、データの特徴量から似ているユーザー・製品・サンプルなどをグループ化する方法です。 様々な手法が存在するクラスタリング手法の中でも、k-meansクラスタリングは扱いが簡単な代表モデルのひとつです。 この...
その他plotly: chart-studioでwebに作成したグラフを埋め込む
ニュース記事で目にすることが多くなったインタラクティブなグラフ。自分でも簡単に作れたら…一度くらい考えたことはないでしょうか？ インタラクティブなグラフを作成を可能とするオープンソース・ライブラリー: plo...
その他plotly: plotlyの概要。Pythonでインタラクティブな図を描く
探索的データ分析(EDA)において、データ構造、パターン、異常値を発見するために、より高速、インタラクティブにデータを可視化したいことがあります。 これまで、データ可視化にmatplotlibとseabornを利用してい...
Profile – プロフィール
