夕蛙のなく頃に

データアナリストとして学んだことや趣味で勉強し始めたIoTをアウトプットする

ErgoDoxEZ買いました

ErgoDoxEZ買いました 分離型キーボードをいつか使ってみたくて、メジャーで周りでも持っている人が多いErgoDoxEZを購入しました。 設定は以下の通りです。 チルトキットあり ウィングあり 色はBlack, 無刻印, キータイプはKailh Brown 購入から受取 11月3日…

BigQueryで2列以上の事前データを準備する

SQL

なにこれ BigQueryで集計する際に、手元の事前データを条件等で使うために入れたくなる時があります。 わざわざテーブルを作るまでではないとBigquery(SQL)で祝日判定する - 夕蛙のなく頃にで扱ったようにarrayをunnestすることで実現させていました。 これ…

「AtCoderの問題を分類しました」を解き終えました

競技プログラミングの勉強をしています AtCoder頑張るぞ宣言 - 夕蛙のなく頃に で宣言した通り、競技プログラミングの勉強を始めており、以下の問題集を2ヶ月かけて終えました! qiita.com 1日1問しか解かない日や一気に40問以上解く日などペースはばらばら…

Bigquery(SQL)で祝日判定する

SQL

なにこれ 平日・休日・祝日毎に違いがあるかを確認するために、Bigquery(SQL)で祝日判定をしたいです。 そのためのクエリを考えます。 方向性 Bigquery(StandardSQL)にもSQLにも祝日判定してくれる便利な関数はないです。 そこで以下の2つが考えられますが、…

技術書典7に行ってきた

行ってきた 初めて技術書典に行きました。いろいろな技術が集まるギークな場所って感じがして楽しかったです!! techbookfest.org 事前に15〜20ほどのサークルをチェックしていました。 私の場合、機械学習やGo言語・電子工作あたりの興味が強かったので、…

AtCoder頑張るぞ宣言

アルゴリズム勉強の実践の場 データ構造やアルゴリズムを基礎から勉強し始めました。 nowokay.hatenablog.com ↑のブログを参考に↓のように取り組んできました。 OpenDataStructures自分用まとめ一覧 - 夕蛙のなく頃に 『数学ガール/乱択アルゴリズム』を読ん…

OpenDataStructures自分用まとめ一覧

リンク OpenDataStructures第2章を自分用にまとめる(配列を使ったリスト) - 夕蛙のなく頃に OpenDataStructures第3章を自分用にまとめる(連結リスト) - 夕蛙のなく頃に OpenDataStructures第4章を自分用にまとめる(スキップリスト) - 夕蛙のなく頃に OpenDat…

OpenDataStructures第11章を自分用にまとめる(ソート)

なにこれ 前回の続き blog.frogdusk.com 今回扱うのはソートです。 代表的なソートとして、マージソートとクイックソートをまとめます。 マージソート クイックソート マージソート 「配列を半分に分割、分割された配列毎にソートして、合わせるときに先頭の…

『数学ガール/乱択アルゴリズム』を読んだ

読もうと思ったきっかけ 以下のブログで、「基礎」の次の「読み物」として挙げられていました。 nowokay.hatenablog.com 基礎として『OpenDataStructures』を勉強したので、流れに従って読んでみようと思った次第です。 数学ガール/乱択アルゴリズム (数学ガ…

OpenDataStructures第10章を自分用にまとめる(ヒープ)

なにこれ 前回の続き blog.frogdusk.com 今回は話がガラッと変わって、優先度付きキューの実装の話です。 特殊な二分木であるヒープを使います。 ヒープとは「雑多に積まれたもの」という意味があり、今までの「高度に構造化されて積み上げられたもの」であ…

OpenDataStructures第9章を自分用にまとめる(赤黒木)

なにこれ 前回の続き blog.frogdusk.com 本の中で特に重要だと言われている項目のみまとめるため、6章から9章に飛んでいます。 BinarySearchTreeの問題点は、要素の追加の仕方によって木の構造がアンバランスになることです。(例えば[1,2,3,4,5]のように追…

OpenDataStructures第6章を自分用にまとめる(二分木)

なにこれ BinaryTree 深さ優先探索 幅優先探索 BinarySearchTree なにこれ 前回の続き。 blog.frogdusk.com 二分木を扱います。今までデータ構造としてリストと違う概念として捉えていましたが、 ポインタという概念を使った連結リストを勉強した後だと、実…

OpenDataStructures第5章を自分用にまとめる(ハッシュテーブル)

なにこれ ChainedHashTable 乗算ハッシュ法 LinearHashTable なにこれ 前回の続き blog.frogdusk.com ハッシュテーブルを用いてUSetインターフェースを実装します。 USetインターフェースは順序付けられていない値の集合です。 Setインターフェースで重要な…

OpenDataStructures第4章を自分用にまとめる(スキップリスト)

なにこれ SSetインターフェース スキップリスト 高さを決めるランダム性 SkiplistSSet SkiplistList なにこれ 前回の続き。 blog.frogdusk.com 今回はスキップリストを用いて、SSetインターフェースとListインターフェースを実装します。 SSetインターフェー…

OpenDataStructures第3章を自分用にまとめる(連結リスト)

なにこれ 前回の続き。 blog.frogdusk.com 第2章に引き続きListインターフェースを実装するが、配列ではなく、ポインタを使用します。 SLList: 単方向連結リスト DLList: 双方向連結リスト SEList: 空間効率の良い連結リスト 配列ではなく、ポインタを使う長…

DBスペシャリスト合格したので、勉強手順を紹介する

SQL

目次 目次 DBスペシャリストに合格した 勉強方法 書籍を読む 午前Ⅱの過去問を解く 午後Ⅰの過去問を解く 午後Ⅱの過去問を解く 勉強時系列 DBスペシャリストに合格した 応用情報技術者試験の次のレベルで高度試験のうちの1つ、DBスペシャリスト試験を2019春に…

OpenDataStructures第2章を自分用にまとめる(配列を使ったリスト)

なにこれ 最近、OpenDataStructuresを読んで、データ構造を勉強しています。 「みんなのデータ構造」という和訳された書籍もありますが、日本語のPDFが無料で読めるので、そちらを利用しています。 sites.google.com 今回は、第2章のListインターフェースを…

PostgreSQLで最頻値を求める

SQL

なにこれ ユーザー毎の最も行動する時間が知りたくなった。 すなわちユーザー毎の行動時間(hour)の最頻値を集計したい。 テストデータ column1: 2019-01-01〜2019-03-31までの時刻がバラバラなdatetime column2: ランダムな日本語文字1字(user_idに相当) SEL…

PostgreSQLで日次・週次・月次集計する

SQL

なにこれ PostgreSQLでのtimestamp型から日次(daily)・週次(weekly)・月次(monthly)で集計するための変換方法です。 日次・月次はto_char関数で'YYYY-MM-DD'や'YYYY-MM'を出力すればいいのですが、週次が少し面倒です。 今回の週次は、月曜日起点で集計する…

エンジニアが開業freeeを使って開業届を提出した

副業を始めた データ分析する副業を始めました。 無理なく続けられそうで年の収益が20万円を超えそうなので、個人事業主になるべく開業届を提出し、来年確定申告してみようと思います。 開業freeeを使ったら簡単だった www.freee.co.jp 開業freeeを使いまし…

kerasでpydot・graphvizをインストールしたDocker環境

なにこれ matsuolab-edu/dl4us で深層学習について勉強を始めています。 その環境をDockerで作りましたが、途中でpydotやgraphvizでエラーが出たのでそれに対応したログです。 実行環境 jupyter/tensorflow-notebook のdockerイメージからコンテナを作成して…

R・RStan環境をDockerで構築する

なにこれ RStanを勉強するために環境構築したい。どうせならDockerを使ってみる。 使うdockerイメージによって変わるのかもしれないが、RStanのインストールでエラーが出たので、ログを残す 環境 ❯ docker --version Docker version 18.09.2, build 6247962 …

localhostに立てたFlaskのAPIをlocalhostのVueから叩いて表示する

これなに webアプリを作る際に、バックエンドにFlaskのAPIを立てて、フロントエンドのVueから叩く構成にしました。 テスト用にとりあえずFlaskのAPIをlocalhostに立てて、localhostのVueから叩いたところ、ブラウザのconsoleに以下のようなエラーが出ました…

CTRやCVRのような比率データを95%信頼区間のエラーバーが付くようSQLで集計する

モチベーション 会社でコンバージョン率(CVR)を月次ないし日次でダッシュボード化し、追いかけている。 スタートアップでデータが少ないこともあり、月や日によって母数のばらつきが大きいので、ただCVRを出すだけでなく、95%信頼区間を計算して、エラーバー…

自分仕様にカスタマイズしたJupyter Notebookをdockerで構築する

モチベーション ローカルでJupyter Notebookを動かしていたが、常に素早く分析環境を構築できるようにDockerを使いたい。 ローカルでJupyter Notebookを使う際は、cssやextensions・起動時に読み込むファイルなど自分仕様にカスタマイズしている。 そのカス…

中心極限定理により正規分布に収束する様子をjupyterで描画する

中心極限定理とは 中心極限定理(ちゅうしんきょくげんていり、英: central limit theorem, CLT)は、確率論・統計学における極限定理の一つ。 大数の法則によると、ある母集団から無作為抽出した標本の平均は標本の大きさを大きくすると母平均に近づく。こ…

ラベルつき散布図をPlotlyで描画する

はじめに 普段seabornでグラフを作成することが多く、散布図もどこにデータが偏っているかを確認するために見ることが大半で、個別にラベルを付すことがありません。 ただビジネスの人と話をする際に、ラベル付きの散布図が必要となりました。 ex) 広告デー…

ブログ=アウトプットをはじめる

自己紹介 はじめまして。IT企業でデータアナリストをやっている夕蛙(ゆうがえる)です。 学生の頃から原因と結果の因果関係・その連鎖という図が好きで、データ分析をする仕事がしたいと就活し、今に至ります。 仕事関連スキル: Python / 機械学習 / データ分…