データエンジニアリング

データ基盤Visionの進化の軌跡-事業の成長と共に歩んだ道のり

こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804 です。 2022年に生まれたCARTA MARKETING FIRMのデータ基盤Visionがどのような背景から生まれ、進化してきたのかを振り返り、Visionの"Why"を残す試みです。 2020年:レポート基盤刷…

dbt test + elementaryによってData Observabilityを高める

概要 CARTA HOLDINGSの事業部の1つである、fluctでデータエンジニアをやっているyanyanです。 現在fluctではsnowflake + dbtを中心としたデータ基盤を構築していて、今回はその基盤のオブザーバビリティを高めるために行った施策について書いていこうと思い…

CARTA MARKETING FIRMのデータサイエンス、データエンジニアリング基盤の変遷に迫る

TL; DR CARTA MARKETING FIRMでは、データサイエンティストが本質的な価値創出に専念できる分業体制を目指す過程にある Snowflake中心のデータ基盤を活用しながら、プロダクトチームがプロダクト要件に合わせたデータ設計を行える組織体制を実現 プロダクト…

2024 Snowflake Data Superheroes に CARTAの @pei0804 が選出されました!❄️

技術広報しゅーぞーです。今回は CARTAにとってのGood Newsをお知らせします!❄️ 2024 Snowflake Data Superheroes に @pei0804 が選出! 2024/02/08 に 2024 Snowflake Data Superheroes が発表されました。 今回は、世界で80名、日本人は11名が選出 ❄️ な…

dbt x snowflakeで使っていないテーブルとビューを安全に一括で削除する

概要 こんにちは、4月に新卒で株式会社CARTA HOLDINGSに入社し、現在はCARTA MARKETING FIRMのデータエンジニアをやっているharukiです。 私たちのチームでは、dbtとsnowflakeを使ってデータ基盤を構築しています。 データ基盤を使うエンジニアが増え、dbtの…

Snowflakeと共に過ごした一年間。その進化過程と未来へのVision

こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804です。 昨年、私たちはSnowflakeを中心に据えた「Vision」という新データ基盤構想を立ち上げました。 それから1年、多くの変化がありました。この記事では、Snowflake導入によって現場…

Snowflakeの力を引き出すためのdbtを活用したデータ基盤開発の全貌

当記事は、dbtのカレンダー | Advent Calendar 2023 - Qiita の23日目の記事です。 こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804です。データエンジニアリングのほか、組織運営やデータエンジニア育成にも携わっています。 本記事…

SELECTを使った手間なしSnowflakeコスト最適化

株式会社CARTA MARKETING FIRMで、データエンジニアをやっている@pei0804 です。 普段の業務は、データエンジニアの仕事はもちろん、組織・採用戦略を考えたり、データエンジニア育成など、データ活用を推進するための色々なことをやっています。 当記事では…

fluct データチーム+α 開発合宿最高だった

※こちらの記事は社内向けに書いた記事を社外向けに一部加筆修正したものになります。 こんにちは fluctエンジニアの@shu22203です。 3行まとめ fluctのデータエンジニア4人で2泊3日で開発合宿してきたよ 想像以上にしっかり進捗が出たり、ハマりポイントみん…

データをモデリングしていたら、組織をモデリングし始めた話

このエントリーは、2022年6月に開催された「Engineers in CARTA vol.3 #データエンジニアリング」の中で、株式会社Zucks アドプロダクト事業本部の 近森 淳平 ( @pei0804 )がセッションした 「データをモデリングしていたら、組織をモデリングし始めた話」の…