夕蛙のなく頃に

データアナリストとして学んだことや趣味で勉強し始めたIoTをアウトプットする

「出会い系サイトで70人と実際に会ってその人に合いそうな本をすすめまくった1年間のこと」を読みました。

出会い系サイトで70人と実際に会ってその人に合いそうな本をすすめまくった1年間のこと (河出文庫)作者:花田菜々子発売日: 2020/02/05メディア: 文庫 どこで目についたのか忘れてしまいましたが、タイトルに惹かれました。 どういう本がおすすめされているん…

BigQueryでArrayっぽいStringをフラット化する

SQL

なにこれ 以下のようなArrayっぽいStringが入っている項目を user_name(STRING) values(STRING) hoge ["1","2"] fuga ["5"] 以下のようにばらすクエリの解説です。 user_name(STRING) value(STRING) hoge 1 hoge 2 fuga 5 考え方 ArrayっぽいStringを、Array…

「オブジェクト指向でなぜつくるのか 第2版」を読みました

オブジェクト指向でなぜつくるのか 第2版作者:平澤 章発売日: 2011/04/07メディア: 単行本 読もうと思ったきっかけ 以前、下記のQiita記事を読んで、エンジニア1,2年目で学んでおくべきことを全然知らないなと感じました。 (データアナリストとして働いてき…

DockerでDB(PostgreSQL)環境を作る

DockerでDB(PostgreSQL)環境を作り、手元で用意したcsvデータを初期データとして流し込むところまで作ります。 WebアプリのDBとして使うことを想定し、Docker Composeで構築していきます。 ファイル構成 ❯ tree . . ├── docker-compose.yml └── postgres ├──…

「実用Git」を読みました

Gitの使い方のみを勉強してきた 今までのGitの学び方は以下の通りです。 学生時代 サルでもわかるGit入門〜バージョン管理を使いこなそう〜 バージョン管理ができるものなんだ。ブランチ切って、addして、commitして、pushすればいいんだという浅い理解 社会…

MySQLで日次・週次・月次集計する

SQL

なにこれ MySQLでtimestamp型から日次(daily)・週次(weekly)・月次(monthly)で集計するための変換方法です。 日次・月次はto_char関数で'YYYY-MM-DD'や'YYYY-MM'を出力すればいいのですが、週次が少し面倒です。 週次は、週番号とMODであまりを計算すること…

副業エンジニアの確定申告まとめ(売上・経費の計上の仕方)

概要 副業(業務委託)でちょこっと稼ぐエンジニア向けに、確定申告における売上・経費の計上の仕方をまとめようと思います。 <注意> - ツールの使い方の話はしません。(私はfreeeを使っています) - 青色申告を前提としています。 - 経費をうまく使いこな…

BigQueryで指定期間の月初・月末の日付シリーズを用意する

SQL

背景 集計で、一定期間の月末の日付シリーズが必要になりました。 月末を出すためには月初を出す必要があるので、一緒にまとめておこうと思います。 クエリイメージ 数字のシリーズを作成 --> 固定した日付に対して、1ヶ月後・2ヶ月後...と足していく クエリ…

BigQueryで日次・週次・月次集計する

以前PostgreSQLで日次・週次・月次集計する記事を投稿しました。 それのBigQuery版です。(StandardSQLを用います) blog.frogdusk.com テストデータ 2019/1/1から90日にわたって、日時がばらばらなデータを10,000行用意します。 SELECT DATETIME_ADD( DATETIM…

Selenium + Scrapy でJavaScriptを使ったサイトをスクレイピングする

アドベントカレンダーをリアルタイムで追っておらず、今更興味あるテーマを見ようと思いました。 adventarに登録されているカレンダー数が多かったので、記事投稿数が20以上のタイトルから探すべく、いざスクレイピング。 adventar.org JavaScriptが使われて…

2019年のブログ・Twitter活動を振り返る

なにこれ ブログ・Twitterを始めた2019年。その活動振り返りを遅くなりましたが残しておきます。 ブログ・Twitterの運用方針 アウトプットの練習として2019年3月にブログを始め、学んだログやTipsなどを記事にしてきました。 Twitterも同時期に作成し、積極…

PlotlyのSankeyDiagramでLinkの色をSourceに合わせる

なにこれ 前回こんな記事を書きました。 ユーザー行動フローをPlotlyのSankeyDiagramで可視化する - 夕蛙のなく頃に デフォルトだとリンクの色は全て灰色なので、青色のノードから伸びるリンクは青色に、という具合にリンクの色をSourceに合わせるよう修正を…

ユーザー行動フローをPlotlyのSankeyDiagramで可視化する

なにこれ どのアクションで離脱しやすいか・思ったような行動をユーザーがしてくれているかを把握するために、アプリ内のユーザーの遷移状態・行動フローを可視化したいです。 今回はその手段として、PlotlyのSankeyDiagramを使おうと思います。 コードはCol…

「詳解! GoogleAppsScript完全入門」を読みました

いざGoogle Apps Scriptの世界へ 最近ビジネス職の方々の既存の業務効率化のために、スプレで運用していたリスト管理やKPI可視化の自動化に取り組んでいます。 (データアナリストとしては本質的な仕事ではないと思いつつ、短期的にはインパクトが出るタスク…

ErgoDoxEZ買いました

ErgoDoxEZ買いました 分離型キーボードをいつか使ってみたくて、メジャーで周りでも持っている人が多いErgoDoxEZを購入しました。 設定は以下の通りです。 チルトキットあり ウィングあり 色はBlack, 無刻印, キータイプはKailh Brown 購入から受取 11月3日…

BigQueryで2列以上の事前データを準備する

SQL

なにこれ BigQueryで集計する際に、手元の事前データを条件等で使うために入れたくなる時があります。 わざわざテーブルを作るまでではないとBigquery(SQL)で祝日判定する - 夕蛙のなく頃にで扱ったようにarrayをunnestすることで実現させていました。 これ…

「AtCoderの問題を分類しました」を解き終えました

競技プログラミングの勉強をしています AtCoder頑張るぞ宣言 - 夕蛙のなく頃に で宣言した通り、競技プログラミングの勉強を始めており、以下の問題集を2ヶ月かけて終えました! qiita.com 1日1問しか解かない日や一気に40問以上解く日などペースはばらばら…

Bigquery(SQL)で祝日判定する

SQL

なにこれ 平日・休日・祝日毎に違いがあるかを確認するために、Bigquery(SQL)で祝日判定をしたいです。 そのためのクエリを考えます。 方向性 Bigquery(StandardSQL)にもSQLにも祝日判定してくれる便利な関数はないです。 そこで以下の2つが考えられますが、…

技術書典7に行ってきた

行ってきた 初めて技術書典に行きました。いろいろな技術が集まるギークな場所って感じがして楽しかったです!! techbookfest.org 事前に15〜20ほどのサークルをチェックしていました。 私の場合、機械学習やGo言語・電子工作あたりの興味が強かったので、…

AtCoder頑張るぞ宣言

アルゴリズム勉強の実践の場 データ構造やアルゴリズムを基礎から勉強し始めました。 nowokay.hatenablog.com ↑のブログを参考に↓のように取り組んできました。 OpenDataStructures自分用まとめ一覧 - 夕蛙のなく頃に 『数学ガール/乱択アルゴリズム』を読ん…

OpenDataStructures自分用まとめ一覧

リンク OpenDataStructures第2章を自分用にまとめる(配列を使ったリスト) - 夕蛙のなく頃に OpenDataStructures第3章を自分用にまとめる(連結リスト) - 夕蛙のなく頃に OpenDataStructures第4章を自分用にまとめる(スキップリスト) - 夕蛙のなく頃に OpenDat…

OpenDataStructures第11章を自分用にまとめる(ソート)

なにこれ 前回の続き blog.frogdusk.com 今回扱うのはソートです。 代表的なソートとして、マージソートとクイックソートをまとめます。 マージソート クイックソート マージソート 「配列を半分に分割、分割された配列毎にソートして、合わせるときに先頭の…

「数学ガール/乱択アルゴリズム」を読みました

読もうと思ったきっかけ 以下のブログで、「基礎」の次の「読み物」として挙げられていました。 nowokay.hatenablog.com 基礎として『OpenDataStructures』を勉強したので、流れに従って読んでみようと思った次第です。 数学ガール/乱択アルゴリズム (数学ガ…

OpenDataStructures第10章を自分用にまとめる(ヒープ)

なにこれ 前回の続き blog.frogdusk.com 今回は話がガラッと変わって、優先度付きキューの実装の話です。 特殊な二分木であるヒープを使います。 ヒープとは「雑多に積まれたもの」という意味があり、今までの「高度に構造化されて積み上げられたもの」であ…

OpenDataStructures第9章を自分用にまとめる(赤黒木)

なにこれ 前回の続き blog.frogdusk.com 本の中で特に重要だと言われている項目のみまとめるため、6章から9章に飛んでいます。 BinarySearchTreeの問題点は、要素の追加の仕方によって木の構造がアンバランスになることです。(例えば[1,2,3,4,5]のように追…

OpenDataStructures第6章を自分用にまとめる(二分木)

なにこれ BinaryTree 深さ優先探索 幅優先探索 BinarySearchTree なにこれ 前回の続き。 blog.frogdusk.com 二分木を扱います。今までデータ構造としてリストと違う概念として捉えていましたが、 ポインタという概念を使った連結リストを勉強した後だと、実…

OpenDataStructures第5章を自分用にまとめる(ハッシュテーブル)

なにこれ ChainedHashTable 乗算ハッシュ法 LinearHashTable なにこれ 前回の続き blog.frogdusk.com ハッシュテーブルを用いてUSetインターフェースを実装します。 USetインターフェースは順序付けられていない値の集合です。 Setインターフェースで重要な…

OpenDataStructures第4章を自分用にまとめる(スキップリスト)

なにこれ SSetインターフェース スキップリスト 高さを決めるランダム性 SkiplistSSet SkiplistList なにこれ 前回の続き。 blog.frogdusk.com 今回はスキップリストを用いて、SSetインターフェースとListインターフェースを実装します。 SSetインターフェー…

OpenDataStructures第3章を自分用にまとめる(連結リスト)

なにこれ 前回の続き。 blog.frogdusk.com 第2章に引き続きListインターフェースを実装するが、配列ではなく、ポインタを使用します。 SLList: 単方向連結リスト DLList: 双方向連結リスト SEList: 空間効率の良い連結リスト 配列ではなく、ポインタを使う長…

DBスペシャリスト合格したので、勉強手順を紹介する

SQL

目次 目次 DBスペシャリストに合格した 勉強方法 書籍を読む 午前Ⅱの過去問を解く 午後Ⅰの過去問を解く 午後Ⅱの過去問を解く 勉強時系列 DBスペシャリストに合格した 応用情報技術者試験の次のレベルで高度試験のうちの1つ、DBスペシャリスト試験を2019春に…