夕蛙のなく頃に

データアナリストとして学んだことや趣味で勉強し始めたIoTをアウトプットする

OpenDataStructures第5章を自分用にまとめる(ハッシュテーブル)

なにこれ ChainedHashTable 乗算ハッシュ法 LinearHashTable なにこれ 前回の続き blog.frogdusk.com ハッシュテーブルを用いてUSetインターフェースを実装します。 USetインターフェースは順序付けられていない値の集合です。 Setインターフェースで重要な…

OpenDataStructures第4章を自分用にまとめる(スキップリスト)

なにこれ SSetインターフェース スキップリスト 高さを決めるランダム性 SkiplistSSet SkiplistList なにこれ 前回の続き。 blog.frogdusk.com 今回はスキップリストを用いて、SSetインターフェースとListインターフェースを実装します。 SSetインターフェー…

OpenDataStructures第3章を自分用にまとめる(連結リスト)

なにこれ 前回の続き。 blog.frogdusk.com 第2章に引き続きListインターフェースを実装するが、配列ではなく、ポインタを使用します。 SLList: 単方向連結リスト DLList: 双方向連結リスト SEList: 空間効率の良い連結リスト 配列ではなく、ポインタを使う長…

DBスペシャリスト合格したので、勉強手順を紹介する

SQL

目次 目次 DBスペシャリストに合格した 勉強方法 書籍を読む 午前Ⅱの過去問を解く 午後Ⅰの過去問を解く 午後Ⅱの過去問を解く 勉強時系列 DBスペシャリストに合格した 応用情報技術者試験の次のレベルで高度試験のうちの1つ、DBスペシャリスト試験を2019春に…

OpenDataStructures第2章を自分用にまとめる(配列を使ったリスト)

なにこれ 最近、OpenDataStructuresを読んで、データ構造を勉強しています。 「みんなのデータ構造」という和訳された書籍もありますが、日本語のPDFが無料で読めるので、そちらを利用しています。 sites.google.com 今回は、第2章のListインターフェースを…

PostgreSQLで最頻値を求める

SQL

なにこれ ユーザー毎の最も行動する時間が知りたくなった。 すなわちユーザー毎の行動時間(hour)の最頻値を集計したい。 テストデータ column1: 2019-01-01〜2019-03-31までの時刻がバラバラなdatetime column2: ランダムな日本語文字1字(user_idに相当) SEL…

PostgreSQLで日次・週次・月次集計する

SQL

なにこれ PostgreSQLでのtimestamp型から日次(daily)・週次(weekly)・月次(monthly)で集計するための変換方法です。 日次・月次はto_char関数で'YYYY-MM-DD'や'YYYY-MM'を出力すればいいのですが、週次が少し面倒です。 今回の週次は、月曜日起点で集計する…

エンジニアが開業freeeを使って開業届を提出した

副業を始めた データ分析する副業を始めました。 無理なく続けられそうで年の収益が20万円を超えそうなので、個人事業主になるべく開業届を提出し、来年確定申告してみようと思います。 開業freeeを使ったら簡単だった www.freee.co.jp 開業freeeを使いまし…

kerasでpydot・graphvizをインストールしたDocker環境

なにこれ matsuolab-edu/dl4us で深層学習について勉強を始めています。 その環境をDockerで作りましたが、途中でpydotやgraphvizでエラーが出たのでそれに対応したログです。 実行環境 jupyter/tensorflow-notebook のdockerイメージからコンテナを作成して…

R・RStan環境をDockerで構築する

なにこれ RStanを勉強するために環境構築したい。どうせならDockerを使ってみる。 使うdockerイメージによって変わるのかもしれないが、RStanのインストールでエラーが出たので、ログを残す 環境 ❯ docker --version Docker version 18.09.2, build 6247962 …

localhostに立てたFlaskのAPIをlocalhostのVueから叩いて表示する

これなに webアプリを作る際に、バックエンドにFlaskのAPIを立てて、フロントエンドのVueから叩く構成にしました。 テスト用にとりあえずFlaskのAPIをlocalhostに立てて、localhostのVueから叩いたところ、ブラウザのconsoleに以下のようなエラーが出ました…

CTRやCVRのような比率データを95%信頼区間のエラーバーが付くようSQLで集計する

モチベーション 会社でコンバージョン率(CVR)を月次ないし日次でダッシュボード化し、追いかけている。 スタートアップでデータが少ないこともあり、月や日によって母数のばらつきが大きいので、ただCVRを出すだけでなく、95%信頼区間を計算して、エラーバー…

自分仕様にカスタマイズしたJupyter Notebookをdockerで構築する

モチベーション ローカルでJupyter Notebookを動かしていたが、常に素早く分析環境を構築できるようにDockerを使いたい。 ローカルでJupyter Notebookを使う際は、cssやextensions・起動時に読み込むファイルなど自分仕様にカスタマイズしている。 そのカス…

中心極限定理により正規分布に収束する様子をjupyterで描画する

中心極限定理とは 中心極限定理(ちゅうしんきょくげんていり、英: central limit theorem, CLT)は、確率論・統計学における極限定理の一つ。 大数の法則によると、ある母集団から無作為抽出した標本の平均は標本の大きさを大きくすると母平均に近づく。こ…

ラベルつき散布図をPlotlyで描画する

はじめに 普段seabornでグラフを作成することが多く、散布図もどこにデータが偏っているかを確認するために見ることが大半で、個別にラベルを付すことがありません。 ただビジネスの人と話をする際に、ラベル付きの散布図が必要となりました。 ex) 広告デー…

ブログ=アウトプットをはじめる

自己紹介 はじめまして。IT企業でデータアナリストをやっている夕蛙(ゆうがえる)です。 学生の頃から原因と結果の因果関係・その連鎖という図が好きで、データ分析をする仕事がしたいと就活し、今に至ります。 仕事関連スキル: Python / 機械学習 / データ分…