夕蛙のなく頃に

データアナリストとして学んだことや趣味で勉強し始めたIoTをアウトプットする

DockerでDB(PostgreSQL)環境を作る

DockerでDB(PostgreSQL)環境を作り、手元で用意したcsvデータを初期データとして流し込むところまで作ります。 WebアプリのDBとして使うことを想定し、Docker Composeで構築していきます。 ファイル構成 ❯ tree . . ├── docker-compose.yml └── postgres ├──…

「実用Git」を読みました

Gitの使い方のみを勉強してきた 今までのGitの学び方は以下の通りです。 学生時代 サルでもわかるGit入門〜バージョン管理を使いこなそう〜 バージョン管理ができるものなんだ。ブランチ切って、addして、commitして、pushすればいいんだという浅い理解 社会…

MySQLで日次・週次・月次集計する

SQL

なにこれ MySQLでtimestamp型から日次(daily)・週次(weekly)・月次(monthly)で集計するための変換方法です。 日次・月次はto_char関数で'YYYY-MM-DD'や'YYYY-MM'を出力すればいいのですが、週次が少し面倒です。 週次は、週番号とMODであまりを計算すること…

副業エンジニアの確定申告まとめ(売上・経費の計上の仕方)

概要 副業(業務委託)でちょこっと稼ぐエンジニア向けに、確定申告における売上・経費の計上の仕方をまとめようと思います。 <注意> - ツールの使い方の話はしません。(私はfreeeを使っています) - 青色申告を前提としています。 - 経費をうまく使いこな…

BigQueryで指定期間の月初・月末の日付シリーズを用意する

SQL

背景 集計で、一定期間の月末の日付シリーズが必要になりました。 月末を出すためには月初を出す必要があるので、一緒にまとめておこうと思います。 クエリイメージ 数字のシリーズを作成 --> 固定した日付に対して、1ヶ月後・2ヶ月後...と足していく クエリ…

BigQueryで日次・週次・月次集計する

SQL

以前PostgreSQLで日次・週次・月次集計する記事を投稿しました。 それのBigQuery版です。(StandardSQLを用います) blog.frogdusk.com テストデータ 2019/1/1から90日にわたって、日時がばらばらなデータを10,000行用意します。 SELECT DATETIME_ADD( DATETIM…

Selenium + Scrapy でJavaScriptを使ったサイトをスクレイピングする

アドベントカレンダーをリアルタイムで追っておらず、今更興味あるテーマを見ようと思いました。 adventarに登録されているカレンダー数が多かったので、記事投稿数が20以上のタイトルから探すべく、いざスクレイピング。 adventar.org JavaScriptが使われて…