夕蛙のなく頃に

データアナリストとして学んだことや趣味で勉強し始めたIoTをアウトプットする

MySQLで日次・週次・月次集計する

SQL

なにこれ MySQLでtimestamp型から日次(daily)・週次(weekly)・月次(monthly)で集計するための変換方法です。 日次・月次はto_char関数で'YYYY-MM-DD'や'YYYY-MM'を出力すればいいのですが、週次が少し面倒です。 週次は、週番号とMODであまりを計算すること…

副業エンジニアの確定申告まとめ(売上・経費の計上の仕方)

概要 副業(業務委託)でちょこっと稼ぐエンジニア向けに、確定申告における売上・経費の計上の仕方をまとめようと思います。 <注意> - ツールの使い方の話はしません。(私はfreeeを使っています) - 青色申告を前提としています。 - 経費をうまく使いこな…

BigQueryで指定期間の月初・月末の日付シリーズを用意する

SQL

背景 集計で、一定期間の月末の日付シリーズが必要になりました。 月末を出すためには月初を出す必要があるので、一緒にまとめておこうと思います。 クエリイメージ 数字のシリーズを作成 --> 固定した日付に対して、1ヶ月後・2ヶ月後...と足していく クエリ…

BigQueryで日次・週次・月次集計する

以前PostgreSQLで日次・週次・月次集計する記事を投稿しました。 それのBigQuery版です。(StandardSQLを用います) blog.frogdusk.com テストデータ 2019/1/1から90日にわたって、日時がばらばらなデータを10,000行用意します。 SELECT DATETIME_ADD( DATETIM…

Selenium + Scrapy でJavaScriptを使ったサイトをスクレイピングする

アドベントカレンダーをリアルタイムで追っておらず、今更興味あるテーマを見ようと思いました。 adventarに登録されているカレンダー数が多かったので、記事投稿数が20以上のタイトルから探すべく、いざスクレイピング。 adventar.org JavaScriptが使われて…

2019年のブログ・Twitter活動を振り返る

なにこれ ブログ・Twitterを始めた2019年。その活動振り返りを遅くなりましたが残しておきます。 ブログ・Twitterの運用方針 アウトプットの練習として2019年3月にブログを始め、学んだログやTipsなどを記事にしてきました。 Twitterも同時期に作成し、積極…

PlotlyのSankeyDiagramでLinkの色をSourceに合わせる

なにこれ 前回こんな記事を書きました。 ユーザー行動フローをPlotlyのSankeyDiagramで可視化する - 夕蛙のなく頃に デフォルトだとリンクの色は全て灰色なので、青色のノードから伸びるリンクは青色に、という具合にリンクの色をSourceに合わせるよう修正を…