データ分析で使える！qcutとcutで連続値にラベルをつける方法【pandas入門】
データセット中の連続量の値に対して簡単にラベルを付与したいと思ったことはないでしょうか。例えば、収入の分布を値に応じて「低」「中」「高」などに分けたいなどです。pandasで提供されている関数qcutとcutは簡単にラベ...
その他その他
その他相関行列の作成と解釈サポートのための可視化【pandas入門】
pandasはデータサイエンス、データアナリシス、機械学習の分野で広く利用されているpythonのオープンソースパッケージです。 この記事は「pandasを使った相関行列の作成方法」をまとめます。 相関行列 via GI...
統計・線形代数確率変数と確率分布：事象の発生確率を示す
統計用語を自分の言葉でもっと説明できるようになりたく、勉強のために本記事をまとめます。 この記事は「確率変数と確率分布」についてまとめます。 確率変数 確率変数 端的に、確率変数(Random variable)とは、ラ...
データベース大規模データの分析を強力にサポート: Apache Sparkの概要
Apache Sparkは、大規模なデータを扱うためのオープンソースの統合分析エンジンです。 Apache Spark 3.0からはGPUを扱った並列分散処理、3.2ではSpark上でPandas APIの利用が可能とな...
機械学習・最適化DBSCAN: 外れ値/ノイズを発見するための密度ベースクラスタリング
クラスタリングは、類似性が高いデータをグループ化する教師なし学習の一種です。 クラスタリングには様々なアルゴリズムがありますが、使用アルゴリズムごとでデータセットから得られる結果も異なります。 さらに、クラスタリングには...
統計・線形代数一般化線形モデル (GLM)：一般線形モデルの拡張モデル
一般化線形モデル(Generalized Linear Model: GLM)のコンセプトの学習は、確率分布を統計モデルにどのように組み込むか考え始める機会に繋がります。 では、一般線形回帰モデル(General Lin...
データベースAPIとは何か？: 役割・種類・利用例のまとめ
「データを利用した〇〇のサービスを始めるなら、□□のAPIを利用して〜」 データを利用したビジネスやアプリケーション開発に関わる人は、こんな会話を耳にするのではないでしょうか。 APIとよく耳にしますが、APIが何なのか...
統計・線形代数ブートストラップ法: リサンプリングを利用して母集団の特徴を推定
ブートストラップ法は、データセットから無作為に何度もリサンプリングして母集団の特徴の推定を試みる統計手法です。 複雑な計算を簡単なシミュレーションに置き換えたブートストラップ法は、今日ではコンピュータ技術の発展に伴い、よ...
統計・線形代数p値ハッキング: 統計的有意は本当にシルバーブレットか？
大学の講義で強烈に印象に残ったタイトルのひとつです。 p値ハッキング: p-hackingは、実際は統計的に差がないデータに差があると示してしまう誤ったデータ分析の行為です。 意識的、無意識的な行為に関わらず、知らないう...
統計・線形代数統計: 記述統計と推測統計の違いは何か？
統計はデータの中から注目すべきポイントやパターンの発見を手助けします。 一方、たびたび耳にする「記述統計」と「推測統計」というワード。統計の基礎と言われますが、他人に違いを説明しようとすると、分かっているようで分かってい...
Profile – プロフィール
