How Airbnb enabled hosts and guests to connect and introduce themselves through the Host Passport.By: Anne LuIntroductionIn May 2023 we introduced the Host Passport as part of our Summer Release. We wanted to give Hosts a way to introduce themselves, and start building a more personal connection with their guests. To that end, we created the Host Passport, which appears in the bottom corner of each Private Room listing result with a photo of the Host on the cover. Guests can tap it to fully open the Host Passport and learn more about the Host and get a sense for the real live person they would be staying with.The Passport animationThe Host Passport offers Hosts a way to introduce themselves…

How we quantify brand perceptions from social media platforms through deep learningBy Tiantian Zhang, Shuai Shao (Shawn)IntroductionAt Airbnb, we have developed Brandometer, a state-of-the-art natural language understanding (NLU) technique for understanding brand perception based on social media data.Brand perception refers to the general feelings and experiences of customers with a company. Quantitatively, measuring brand perception is an extremely challenging task. Traditionally, we rely on customer surveys to find out what customers think about a company. The downsides of such a qualitative study is the bias in sampling and the limitation in data scale. Social media data, on the other ha…

Part three on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongTrio is Airbnb’s framework for Jetpack Compose screen architecture in Android. It’s built on top of Mavericks, Airbnb’s open source state management library for Jetpack. In this blog post series, we’ve been breaking down how Trio works to help explain our design decisions, in the hopes that other teams might benefit from aspects of our approach.We recommend starting with Part 1, about Trio’s architecture, and then reading Part 2, about how navigation works in Trio, before you dive into this article. In this third and final part of our series, we’ll discuss…

A feature platform that offers observability and management tools, allows ML practitioners to use a variety of data sources, while handling the complexity of data engineering, and provides low latency streaming.By: Varant Zanoyan, Nikhil Simha RaproluChronon allows ML practitioners to use a variety of data sources as inputs to feature transformations. It handles the complexity of data plumbing, such as batch and streaming compute, provides low latency serving, and offers a host of observability and management tools.Airbnb is happy to announce that Chronon, our ML Feature Platform, is now open source.We’re excited to be making this announcement along with our partners at Stripe, who are earl…

Part two on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongIn the previous post in this series, we introduced you to Trio, Airbnb’s framework for Jetpack Compose screen architecture in Android. Some of the advantages of Trio include:Guarantees type safety when communicating across module boundaries in complex appsCodifies expectations about how ViewModels are used and shared, and what interfaces look like between screensAllows for stable screenshot and UI tests and simple navigation testingCompatible with Mavericks, Airbnb’s open source state management library for Jetpack (Trio is built on top of Mavericks)If you n…

A three part series on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, Yvonne WongAt Airbnb, we have developed an Android framework for Jetpack Compose screen architecture, which we call Trio. Trio is built on our open-source library Mavericks, which it leverages to maintain both navigation and application state within the ViewModel.Airbnb began development of Trio more than two years ago, and has been using it in production for over a year and a half. It is powering a significant portion of our production screens in Airbnb’s Android app, and has enabled our engineers to create features in 100% Compose UI.In this blog post series, …

How Airbnb achieved a smooth and transparent migration from Buck to Bazel on iOS, with minimal interference to developer workflowsBy: Qing Yang, Andy BartholomewAt Airbnb, we are committed to providing the best experience for our engineers. To offer a cohesive and efficient build experience across all platforms, we’ve decided to adopt Bazel as our build system. Bazel is a robust build system widely utilized in the industry. In alignment with Airbnb’s tech initiatives, both our backend and frontend teams initiated the migration process to Bazel. In the first Bazel post, we start with our iOS development migrating from Buck to Bazel.We’ll describe the migration approach which involved two mai…

KDD (Knowledge and Data Mining) is a flagship conference in data science research. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s where you’ll learn about some of the most ground-breaking developments in data mining, knowledge discovery, and large-scale data analytics.Airbnb had a significant presence at KDD 2023 with two papers accepted into the main conference proceedings and 11 talks and presentations. In this blog post, we’ll summarize our team’s contributions and share highlights from an exciting week of workshops, panel discussions, and more.Deep learning and search rankingEven though search ranking is a problem that researchers have…

How we championed the CRM CI/CD framework integrating Salesforce DX, GIT, BUILDKITE and Vlocity for an enhanced, efficient and continuous delivery with high software quality.By: Sharda Kumari Pramod GavadeIntroductionThe CRM platform offers a robust suite of functionalities for building scalable applications with minimal reliance on complex coding. However, managing and deploying code and configurations within this ecosystem can be challenging, and the constantly evolving nature of the platform presents an extra layer of complexity. This can lead to slow deployment times, difficulty in balancing code and configuration (e.g. Apex classes and triggers vs. validation rules, page layouts), and …

By: Clark WrightIntroductionThese days, as the volume of data collected by companies grows exponentially, we’re all realizing that more data is not always better. In fact, more data, especially if you can’t rely on its quality, can hinder a company by slowing down decision-making or causing poor decisions.With 1.4 billion cumulative guest arrivals as of year-end 2022, Airbnb’s growth pushed us to an inflection point where diminishing data quality began to hinder our data practitioners. Weekly metric reports were difficult to land on time. Seemingly basic metrics like “Active Listings” relied on a web of upstream dependencies. Conducting meaningful data work required significant institutiona…

How Airbnb leverages ML/NLP to extract useful information about listings from unstructured text data to power personalized experiences for guests.By: Hongwei Li and Peng WangIntroductionAt Airbnb, it’s important for us to gather structured data about listings and better understand the data, so we can help Hosts provide great experiences for guests. For example, guests who work remotely need to know if a listing has a suitable workspace and reliable internet, while guests with children might need items like highchairs and cribs. However, not all listings clearly display these attributes, causing there to be a mismatch between what Hosts listings have and what guests are looking for.This is j…

My Journey to Airbnb — Helena ZarazuaGrowing from engineering apprentice to seasoned iOS developerLanguages have always come naturally to Helena Zarazua, who has used this skill to bring people together, whether by teaching English to Chinese businesspeople or by immersing American preschoolers in Spanish. Since then, Helena joined Airbnb through the Connect engineering apprenticeship program and has stayed on as a full-time engineer. She’s picked up new (programming) languages like Swift to specialize in iOS development, and works on features to create a world where anyone can belong anywhere.Read on to hear Helena’s story. from none other than Helena herself.And… action! Becoming my own m…

How Airbnb adopted SwiftUI in our iOS appBryn BodayleWhen constructing an app’s user interface (UI), the choice of framework is incredibly important. The right UI framework can make an app feel smooth, responsive, even delightful, while a UI framework that doesn’t match an app’s needs can make it feel sluggish and broken. This principle extends to developer experience as well; a UI framework with well-designed APIs can enable engineers to express themselves fluently, efficiently, and correctly, while one with the wrong abstractions or inconsistent APIs can make engineers’ jobs more difficult by slowing them down with unnecessary complexity.At Airbnb, we want our mobile apps to provide a wor…

An overview of Airbnb’s Data Framework for faster and more reliable read-heavy workloads.By: Sivakumar Bhavanari, Krish Chainani, Victor Chen, Yanxi Chen, Xiangmin Liang, Anton Panasenko, Sonia Stan, Peggy Zheng and Amre ShakimOverviewThe evolution of Airbnb and its tech stack calls for a scalable and reliable foundation that simplifies the access and processing of complex data sets. Enter Riverbed, a data framework designed for fast read performance and high availability. In this blog series, we will introduce Riverbed, highlighting its objectives, design, and features.Why was Riverbed CreatedThe growth of Airbnb has accelerated the number of databases we operate, the variety of data types…

Liwei Guo, Vinicius Carvalho, Anush Moorthy, Aditya Mavlankar, Lishan ZhuThis is the second post in a multi-part series from Netflix. See here for Part 1 which provides an overview of our efforts in rebuilding the Netflix video processing pipeline with microservices. This blog dives into the details of building our Video Encoding Service (VES), and shares our learnings.Cosmos is the next generation media computing platform at Netflix. Combining microservice architecture with asynchronous workflows and serverless functions, Cosmos aims to modernize Netflix’s media processing pipelines with improved flexibility, efficiency, and developer productivity. In the past few years, the video team wit…

By Ricky Gardiner, Alex Hutter, and Katie LefevreSince our previous posts regarding Content Engineering’s role in enabling search functionality within Netflix’s federated graph (the first post, where we identify the issue and elaborate on the indexing architecture, and the second post, where we detail how we facilitate querying) there have been significant developments. We’ve opened up Studio Search beyond Content Engineering to the entirety of the Engineering organization at Netflix and renamed it Graph Search. There are over 100 applications integrated with Graph Search and nearly 50 indices we support. We continue to add functionality to the service. As promised in the previous post, we’…

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin TingleyHave you ever encountered a bug while streaming Netflix? Did your title stop unexpectedly, or not start at all? In the first installment of this blog series on sequential testing, we described our canary testing methodology for continuous metrics such as play-delay. One of our readers commentedWhat if the new release is not related to a new play/streaming feature? For example, what if the new release includes modified login functionality? Will you still monitor the “play-delay” metric?Netflix monitors a large suite of metrics, many of which can be classified as counts. These include metrics such as the nu…

David J. Berg, Romain Cledat, Kayla Seeley, Shashank Srikanth, Chaoying Wang, Darin YuNetflix uses data science and machine learning across all facets of the company, powering a wide range of business applications from our internal infrastructure and content demand modeling to media understanding. The Machine Learning Platform (MLP) team at Netflix provides an entire ecosystem of tools around Metaflow, an open source machine learning infrastructure framework we started, to empower data scientists and machine learning practitioners to build and manage a variety of ML systems.Since its inception, Metaflow has been designed to provide a human-friendly API for building data and ML (and today AI…

The surprising and not so surprising benefits of generations in the Z Garbage Collector.By Danny Thomas, JVM Ecosystem TeamThe latest long term support release of the JDK delivers generational support for the Z Garbage Collector.More than half of our critical streaming video services are now running on JDK 21 with Generational ZGC, so it’s a good time to talk about our experience and the benefits we’ve seen. If you’re interested in how we use Java at Netflix, Paul Bakker’s talk How Netflix Really Uses Java, is a great place to start.Reduced tail latenciesIn both our GRPC and DGS Framework services, GC pauses are a significant source of tail latencies. That’s particularly true of our GRPC cl…

Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data Platformby Binbing Hou, Stephanie Vezich Tamayo, Xiao Chen, Liang Tian, Troy Ristow, Haoyuan Wang, Snehal Chennuru, Pawan DixitThis is the first of the series of our work at Netflix on leveraging data insights and Machine Learning (ML) to improve the operational automation around the performance and cost efficiency of big data jobs. Operational automation–including but not limited to, auto diagnosis, auto remediation, auto configuration, auto tuning, auto scaling, auto debugging, and auto testing–is key to the success of modern data platforms. In this blog post, we present our project on Auto Reme…

By Jose FernandezToday, we are thrilled to announce the release of bpftop, a command-line tool designed to streamline the performance optimization and monitoring of eBPF applications. As Netflix increasingly adopts eBPF [1, 2], applying the same rigor to these applications as we do to other managed services is imperative. Striking a balance between eBPF’s benefits and system load is crucial, ensuring it enhances rather than hinders our operational efficiency. This tool enables Netflix to embrace eBPF’s potential.Introducing bpftopbpftop provides a dynamic real-time view of running eBPF programs. It displays the average execution runtime, events per second, and estimated total CPU % for each…

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin Tingley1. Spot the DifferenceCan you spot any difference between the two data streams below? Each observation is the time interval between a Netflix member hitting the play button and playback commencing, i.e., play-delay. These observations are from a particular type of A/B test that Netflix runs called a software canary or regression-driven experiment. More on that below — for now, what’s important is that we want to quickly and confidently identify any difference in the distribution of play-delay — or conclude that, within some tolerance, there is no difference.In this blog post, we will develop a statistical…

by Moshe KolodnyIn this post, we’re excited to introduce SafeTest, a revolutionary library that offers a fresh perspective on End-To-End (E2E) tests for web-based User Interface (UI) applications.The Challenges of Traditional UI TestingTraditionally, UI tests have been conducted through either unit testing or integration testing (also referred to as End-To-End (E2E) testing). However, each of these methods presents a unique trade-off: you have to choose between controlling the test fixture and setup, or controlling the test driver.For instance, when using react-testing-library, a unit testing solution, you maintain complete control over what to render and how the underlying services and imp…

Liwei Guo, Anush Moorthy, Li-Heng Chen, Vinicius Carvalho, Aditya Mavlankar, Agata Opalach, Adithya Prakash, Kyle Swanson, Jessica Tweneboah, Subbu Venkatrav, Lishan ZhuThis is the first blog in a multi-part series on how Netflix rebuilt its video processing pipeline with microservices, so we can maintain our rapid pace of innovation and continuously improve the system for member streaming and studio operations. This introductory blog focuses on an overview of our journey. Future blogs will provide deeper dives into each service, sharing insights and lessons learned from this process.The Netflix video processing pipeline went live with the launch of our streaming service in 2007. Since then…

Holden Karau Elizabeth Stone Pedro Duarte Chris Stephens Pallavi Phadnis Lee Woodridge Mark Cho Guil Pires Sujay Jain Tristan Reid Senthilnathan Athinarayanan Bharath Mummadisetty Abhinaya Shetty Judit Lantos Amanuel Kahsay Dao Mi Mick Dreeling Chris Colburn and Agata GryzbekIntroductionEarlier this summer Netflix held our first-ever Data Engineering Forum. Engineers from across the company came together to share best practices on everything from Data Processing Patterns to Building Reliable Data Pipelines. The result was a series of talks which we are now sharing with the rest of the Data Engineering community!You can find each of the talks below with a short description of each, or you ca…

by Aditya Mavlankar, Zhi Li, Lukáš Krasula and Christos BampisHigh dynamic range (HDR) video brings a wider range of luminance and a wider gamut of colors, paving the way for a stunning viewing experience. Separately, our invention of Dynamically Optimized (DO) encoding helps achieve optimized bitrate-quality tradeoffs depending on the complexity of the content.HDR was launched at Netflix in 2016 and the number of titles available in HDR has been growing ever since. We were, however, missing the systematic ability to measure perceptual quality (VMAF) of HDR streams since VMAF was limited to standard dynamic range (SDR) video signals.As noted in an earlier blog post, we began developing an H…

Netflix was thrilled to be the premier sponsor for the 2nd year in a row at the 2023 Conference on Digital Experimentation (CODE@MIT) in Cambridge, MA. The conference features a balanced blend of academic and industry research from some wicked smart folks, and we’re proud to have contributed a number of talks and posters along with a plenary session.Our contributions kicked off with a concept that is crucial to our understanding of A/B tests: surrogates!Our first talk was given by Aurelien Bibaut (with co-authors Nathan Kallus, Simon Ejdemyr and Michael Zhao) in which we discussed how to confidently measure long-term outcomes using short term surrogates in the presence of bias. For example,…

A framework to identify the causal impact of successful visual components.By Billur Engin, Yinghong Lan, Grace Tang, Cristina Segalin, Kelli Griggs, Vi IyengarIntroductionAt Netflix, we want our viewers to easily find TV shows and movies that resonate and engage. Our creative team helps make this happen by designing promotional artwork that best represents each title featured on our platform. What if we could use machine learning and computer vision to support our creative team in this process? Through identifying the components that contribute to a successful artwork — one that leads a member to choose and watch it — we can give our creative team data-driven insights to incorporate into th…

by Jun He, Yingyi Zhang, and Pawan DixitIncremental processing is an approach to process new or changed data in workflows. The key advantage is that it only incrementally processes data that are newly added or updated to a dataset, instead of re-processing the complete dataset. This not only reduces the cost of compute resources but also reduces the execution time in a significant manner. When workflow execution has a shorter duration, chances of failure and manual intervention reduce. It also improves the engineering productivity by simplifying the existing pipelines and unlocking the new patterns.In this blog post, we talk about the landscape and the challenges in workflows at Netflix. We…

Michelle Vu | Web Performance EngineerDetecting, preventing, and resolving performance regressions has been a standard at Pinterest for many years. Over the years, we have seen many examples showing significant business metric movements resulting from performance optimizations and regressions. These concrete examples motivate us to optimize and maintain performance. In particular, fighting regressions was made a priority because we’ve seen countless times that months of hard earned optimizations can easily be wiped out by a regression. Oftentimes, the regression was from a single line of code, and investing a little bit of time to change the implementation brings us back to baseline. In thi…

Adam Obeng | Data Scientist, Data Platform Science; J.C. Zhong | Tech Lead, Analytics Platform; Charlie Gu | Sr. Manager, EngineeringWriting queries to solve analytical problems is the core task for Pinterest’s data users. However, finding the right data and translating an analytical problem into correct and efficient SQL code can be challenging tasks in a fast-paced environment with significant amounts of data spread across different domains.We took the rise in availability of Large Language Models (LLMs) as an opportunity to explore whether we could assist our data users with this task by developing a Text-to-SQL feature which transforms these analytical questions directly into code.How T…

Leif Sigerson | Sr. Data Scientist; Wendy Matheny | Sr. Lead Public Policy Manager;User engagement is a critical signal used by Pinterest and other online platforms to determine which content to show users. However, it is widely known that optimizing purely for user engagement can surface content that is low-quality (e.g., “clickbait”), or even harmful. Our CEO, Bill Ready, explains that if we’re not careful, content ranking can surface the “car crash we can’t look away from”. On the other hand, “if you ask somebody after they saw the crash, ‘you want to see another one?’, the vast majority of people will say ‘Goodness no’”.In this blog, we will discuss Non-Engagement Signals, a critical co…

Adopted by Pinterest multiple user facing surfaces, Ads, and Board.Jianjin Dong | Staff Machine Learning Engineer, Content Quality; Michal Giemza| Machine Learning Engineer, Content Quality; Qinglong Zeng | Senior Engineering Manager, Content Quality; Andrey Gusev | Director, Content Quality; Yangyi Lu | Machine Learning Engineer, Home Feed; Han Sun | Staff Machine Learning Engineer, Ads Conversion Modeling; William Zhao | Software Engineer, Boards Foundation, Jay Ma | Machine Learning Engineer, Ads Lightweight RankingLinkSage: Graph Neural Network based model for Pinterest off-site content semantic embeddingsBackgroundPinterest is the visual inspiration platform where Pinners come to searc…

Monil Mukesh Sanghavi | Software Engineer, Real Time Analytics Team; Xiao Li | Software Engineer, Real Time Analytics Team; Ming-May Hu | Software Engineer, Real Time Analytics Team; Zhenxiao Luo | Software Engineer, Real Time Analytics Team; Kapil Bajaj | Manager, Real Time Analytics TeamAt Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database providing cost efficient and low latency storage for metrics data. Underneath, Goku is not a single cluster but a collection of sub-service components including:Goku Short…

Yulin Lei | Senior Machine Learning Engineer; Kaili Zhang | Staff Machine Learning Engineer; Sharare Zahtabian | Machine Learning Engineer II; Randy Carlson | Machine Learning Engineer I; Qifei Shen | Senior Staff Machine Learning EngineerIntroductionPinterest strives to deliver high-quality ads and maintain a positive user experience. The platform aims to show ads that align with the user’s interests and intentions, while also providing them with inspiration and discovery. The Ads Engagement Modeling team at Pinterest plays a crucial role in delivering effective advertising campaigns and helping businesses reach their target audience in a meaningful way. The goal of the engagement modeling…

Sam Wang | Sr. Technical Program Manager; Joe Gordon | Sr. Staff Software EngineerAt Pinterest we are continuously looking for ways to improve our developer experience, and we have recently shipped AI-assisted development for everyone while balancing safety, security, and cost. In this blog post, we share our journey of unlocking AI-assisted development, from the initial idea to the General Availability (GA) stage. Join us as we delve into the opportunities, challenges, and successes we encountered along the way.Like many companies, we initially disallowed the use of Large Language Models (LLMs) until we thoroughly evaluated their legal and security implications. During that time, many engi…

Jeremy Krach | Staff Security Engineer, Platform SecurityBackgroundSeveral years ago, Pinterest had a short incident due to oversights in the policy delivery engine. This engine is the technology that ensures a policy document written by a developer and checked into source control is fully delivered to the production system evaluating that policy, similar to OPAL. This incident began a multi-year journey for our team to rethink policy delivery and migrate hundreds of policies to a new distribution model. We shared details about our former policy delivery system in a conference talk from Kubecon 2019.At a high level, there are three important architectural decisions we’d like to bring attent…

Author: Cathy Qian, Aayush Mudgal, Yinrui Li and Jinfeng ZhuangImage from https://unsplash.com/photos/w7ZyuGYNpRQIntroductionAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. People often come to Pinterest when they are considering what to do or buy next. Understanding this evolving user journey while balancing across multiple objectives is crucial to bring the best experience to Pinterest users and is supported by multiple recommendation models, with each providing real-time inference with an overall latency of 200–300 milliseconds. In particular, our machine learning powered ads ranking systems are trying to understand users’ engagement and convers…

A Journey from GBDT to Multi-Task Ensemble DNNAayush Mudgal | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Han Sun | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Matt Meng | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Runze Su | Machine Learning Engineer II, Ads Ranking Conversion Modeling; Jinfeng Zhuang | Staff Machine Learning Engineer, Ads Ranking Conversion ModelingIn this blog post, we will share how we improved Pinterest’s conversion optimization performance by leveraging Deep Neural Networks (DNN), Multi-Task Learning (MTL), state-of-the-art feature interaction modules, in-model ensemble techniques, and user sequence…

Rajath Prasad, Senior Engineering ManagerPinterest serves more than 480M monthly users and has grown to be a global destination for visual inspiration. As Pinterest has grown, so have our storage requirements. In 2020, anticipating the growing needs of the business and to simplify our storage offerings, we decided to consolidate our different key-value systems in the company into a single unified service called KVStore. While KVStore was the client facing abstraction, we also built a storage service called Rockstorewidecolumn: a wide column, schemaless NoSQL database built using RocksDB. This blog post goes into the details of how we built this massively scalable, highly available wide colu…

🔥Pinterest Engineering had a hallmark year 🔥From building new ad formats to launching industry-first inclusive AI technology, Pinterest launched more products in 2023 than in any year in our history. Our Pinterest Engineering Blog goes deeper into the technical learnings and insights behind many of these launches. As we wrap up 2023 and look forward to 2024, we’re sharing a recap of the most-read eng blogs of the year:Building for Inclusivity: The Technical Blueprint of Pinterest’s Multidimensional DiversificationPinterest is now on HTTP/3Lessons from debugging a tricky direct memory leakMLEnv: Standardizing ML at Pinterest Under One ML Engine to Accelerate InnovationPinCompute: A Kubernete…

Better performance, lower cost and less code complexityXiao Li, Kapil Bajaj, Monil Mukesh Sanghavi and Zhenxiao LuoIntroductionIn the dynamic arena of real-time analytics, the need for precision and speed is non-negotiable. Pinterest’s real-time metrics asynchronous data processing pipeline, powering Pinterest’s time series database Goku, stood at the crossroads of opportunity. The mission was clear: identify bottlenecks, innovate relentlessly, and propel our real-time analytics processing capabilities into an era of unparalleled efficiency.BackgroundThe Goku-Ingestor is an asynchronous data processing pipeline that performs multiplexing of metrics data. It performs data validation, denylis…

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 1)Monil Mukesh Sanghavi, Kapil Bajaj, Ming-May Hu, Xiao Li and Zhenxiao LuoIntroductionAt Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database providing cost efficient and low latency storage for metrics data. Underneath, Goku is not a single cluster but a collection of sub-service components including:Goku Short Term (in-memory storage for the last 24 hours of data and referred to as GokuS)Goku Long Term (ssd and hdd based storage for older …

[...]

Read More...

The post Building new custom silicon for Meta’s AI workloads appeared first on Engineering at Meta.

[...]

Read More...

The post Introducing the next-gen Meta Training and Inference Accelerator appeared first on Engineering at Meta.

Bandwidth estimation (BWE) and congestion control play an important role in delivering high-quality real-time communication (RTC) across Meta’s family of apps. We’ve adopted a machine learning (ML)-based approach that allows us to solve networking problems holistically across cross-layers such as BWE, network resiliency, and transport. We’re sharing our experiment results from this approach, some of [...]

Read More...

The post Optimizing RTC bandwidth estimation with machine learning appeared first on Engineering at Meta.

Systems and application logs play a key role in operations, observability, and debugging workflows at Meta. Logarithm is a hosted, serverless, multitenant service, used only internally at Meta, that consumes and indexes these logs and provides an interactive query interface to retrieve and view logs. In this post, we present the design behind Logarithm, and [...]

Read More...

The post Logarithm: A logging engine for AI training workflows and services appeared first on Engineering at Meta.

Marking a major investment in Meta’s AI future, we are announcing two 24k GPU clusters. We are sharing details on the hardware, network, storage, design, performance, and software that help us extract high throughput and reliability for various AI workloads. We use this cluster design for Llama 3 training. We are strongly committed to open [...]

Read More...

The post Building Meta’s GenAI Infrastructure appeared first on Engineering at Meta.

Slow build times and inefficiencies in packaging and distributing execution files were costing our ML/AI engineers a significant amount of time while working on our training stack. By addressing these issues head-on, we were able to reduce this overhead by double-digit percentages. In the fast-paced world of AI/ML development, it’s crucial to ensure that our [...]

Read More...

The post Improving machine learning iteration speed with faster application build and packaging appeared first on Engineering at Meta.

At Meta, the quest for faster model training has yielded an exciting milestone: the adoption of Lazy Imports and the Python Cinder runtime. The outcome? Up to 40 percent time to first batch (TTFB) improvements, along with a 20 percent reduction in Jupyter kernel startup times. This advancement facilitates swifter experimentation capabilities and elevates the [...]

Read More...

The post Lazy is the new fast: How Lazy Imports and Cinder accelerate machine learning at Meta appeared first on Engineering at Meta.

What’s going on with generative AI (GenAI) at Meta? And what does the future have in store? In this episode of the Meta Tech Podcast, Meta engineer Pascal Hartig (@passy) speaks with Devi Parikh, an AI research director at Meta. They cover a wide range of topics, including the history and future of GenAI and the most [...]

Read More...

The post How Meta is advancing GenAI appeared first on Engineering at Meta.

HawkEye is the powerful toolkit used internally at Meta for monitoring, observability, and debuggability of the end-to-end machine learning (ML) workflow that powers ML-based products. HawkEye supports recommendation and ranking models across several products at Meta. Over the past two years, it has facilitated order of magnitude improvements in the time spent debugging production issues. [...]

Read More...

The post AI debugging at Meta with HawkEye appeared first on Engineering at Meta.

Meta is building for the future of AI at every level — from hardware like MTIA v1, Meta’s first-generation AI inference accelerator to publicly released models like Llama 2, Meta’s next-generation large language model, as well as new generative AI tools like Code Llama. Delivering next-generation AI products and services at Meta’s scale also requires [...]

Read More...

The post Watch: Meta’s engineers on building network infrastructure for AI appeared first on Engineering at Meta.

Olivia Wu, Meta’s Technical Lead for Infra Silicon, discusses the design and development of Meta’s first-generation AI inference accelerator. [...]

Read More...

The post How Meta is creating custom silicon for AI appeared first on Engineering at Meta.

Meta presents Chakra execution traces, an open graph-based representation of AI/ML workload execution, laying the foundation for benchmarking and network performance optimization. Chakra execution traces represent key operations, such as compute, memory, and communication, data and control dependencies, timing, and resource constraints. In collaboration with MLCommons, we are seeking industry-wide adoption for benchmarking. Meta open [...]

Read More...

The post Using Chakra execution traces for benchmarking and network performance optimization appeared first on Engineering at Meta.

We’re introducing Arcadia, Meta’s unified system that simulates the compute, memory, and network performance of AI training clusters. Extracting maximum performance from an AI cluster and increasing overall efficiency warrants a multi-input system that accounts for various hardware and software parameters across compute, storage, and network collectively. Arcadia gives Meta’s researchers and engineers valuable insights [...]

Read More...

The post Arcadia: An end-to-end AI system performance simulator appeared first on Engineering at Meta.

[...]

Read More...

The post Code Llama: Meta’s state-of-the-art LLM for coding appeared first on Engineering at Meta.

[...]

Read More...

The post Meta Connect 2023: September 27 – 28 appeared first on Engineering at Meta.

Today, we announced Spotify’s latest products and services for companies adopting Backstage, the open source framework for building IDPs.

The post Supercharged Developer Portals appeared first on Spotify Engineering.

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

TL;DR We summarize the findings in our recent paper, Schultzberg, Ankargren, and Frånberg (2024), where we explain how Spotify’s decision-making [...]

The post Risk-Aware Product Decisions in A/B Tests with Multiple Metrics appeared first on Spotify Engineering.

Introduction At Spotify, we’re dedicated to delivering a unified experience to our customers — which can sometimes be at odds [...]

The post Applying the Facade Pattern on Spotify for Artists appeared first on Spotify Engineering.

Each year, we aim to elevate the Spotify Wrapped experience for our users, crafting captivating data stories and pushing the [...]

The post Exploring the Animation Landscape of 2023 Wrapped appeared first on Spotify Engineering.

TL;DR Let’s cap the year by putting a spotlight on some of the valuable work people outside of Spotify are [...]

The post Q&A with the Maintainers of the Spotify FOSS Fund appeared first on Spotify Engineering.

Large sets of diverse data present several challenges for clustering, but through a novel approach that combines dimensionality reduction, recursion, and supervised machine learning, we’ve been able to obtain strong results. The post Recursive Embedding and Clustering appeared first on Spotify Engineering.

Sometimes a shiny new feature brings more harm than good. The reason is simple — application size. Any addition to the application — be it code for a new feature, an image resource for a new button or even support for a new localization — contributes to the increase of the application’s size.

The post The What, Why, and How of Mastering App Size appeared first on Spotify Engineering.

This week at KubeCon + CloudNativeCon in Chicago, the Cloud Native Computing Foundation announced that Spotify won their Top End User Award. The post Spotify Wins CNCF Top End User Award for the Second Time! appeared first on Spotify Engineering.

Spotify runs paid marketing campaigns across the globe on various digital ad platforms. Being efficient with our marketing budget is critical for maximizing the return on ad spend.

The post How We Automated Content Marketing to Acquire Users at Scale appeared first on Spotify Engineering.

For the past decade, Spotify has used approximate nearest-neighbor search technology to power our personalization, recommendation, and search systems. These technologies allow engineers and researchers to build systems that recommend similar items (like similar tracks, artists, or albums) without needing to run slow and expensive machine learning algorithms in real time. Spotify led the pack [...]

The post Introducing Voyager: Spotify’s New Nearest-Neighbor Search Library appeared first on Spotify Engineering.

TL;DR It’s back! Last year, we created the Spotify FOSS Fund to help support the free and open source software projects we use at Spotify. We’re excited to announce that the fund has returned for 2023, and the recipients have been selected. This year, the fund’s 100,000 EUR are going to the following four projects: [...]

The post Announcing the Recipients of the 2023 Spotify FOSS Fund appeared first on Spotify Engineering.

What is “Exclude from your taste profile”? Are you a parent forced to put the Bluey theme song on repeat? Do you work from home and play lofi beats or ambient piano music? Do you fall asleep to peaceful ambient noises? Are you bummed out when these songs come up as your most listened to [...]

The post Exclude from Your Taste Profile appeared first on Spotify Engineering.

At Spotify, we have experimented with the Bazel build system since 2017. Over the years, the project has matured, and support for more languages and ecosystems have been added, thanks to the open source community and its maintainers at Google. In 2020, it became clear that the future of our client development required a unified [...]

The post Switching Build Systems, Seamlessly appeared first on Spotify Engineering.

Learn more about how Ripple is centralizing data and turning it into compelling insights to support business growth.

On April 24, we released Snowflake Arctic with a key goal in mind: to be truly open. In line with that goal, the Snowflake AI Research team is writing a series of cookbooks to describe how to pretrain, fine-tune, evaluate, and serve large-scale mixture-of-experts (MoEs) such as Arctic. We will share our journey of training […]

The post Snowflake Arctic Cookbook Series: Instruction-Tuning Arctic appeared first on Snowflake.

Connecting government and education agencies with secure, modern data collaboration

The post How Snowflake and Merit Helped Provide Over 120,000 Students with Access to Education Funding appeared first on Snowflake.

The emergence of generative AI (gen AI) heralds a new, groundbreaking era for advertising, media and entertainment. According to a recent Snowflake report, Advertising, Media and Entertainment Data + AI Predictions 2024, gen AI is going to transform the industry — from content creation to customer experience. The companies that will come out ahead during […]

The post 5 Ways Advertising, Media and Entertainment Companies are Using Gen AI appeared first on Snowflake.

Helping data teams improve the quality and performance of their data.

The post Snowflake Invests in Metaplane for Deep, End-to-End Observability in the Data Cloud appeared first on Snowflake.

The pharmaceutical industry generates a great deal of identifiable data (such as clinical trial data, patient engagement data) that has guardrails around “use and access.” Data captured for the intended purpose of use described in a protocol is called “primary use.” However, once anonymized, this data can be used for other inferences in what we […]

The post Preserving Data Privacy in Life Sciences: How Snowflake Data Clean Rooms Make It Happen appeared first on Snowflake.

Did you know that Snowflake has five advanced role-based certifications to help you stand out in the data community as a Snowflake expert? The Snowflake Advanced Certification Series (Architect, Data Engineer, Data Scientist, Administrator, Data Analyst) offers role-based certifications designed for Snowflake practitioners with one to two years of experience (depending on the program). The […]

The post Snowflake Advanced Certifications: Level Up to SnowPro Advanced and Show Off Your Snowflake Expertise appeared first on Snowflake.

Effectively associate records from disparate tables based on timestamps

The post Accelerate Your Time Series Analytics with Snowflake’s ASOF JOIN, Now Generally Available appeared first on Snowflake.

There are more than 25,000 SnowPros in the Snowflake Certification community today. Earning and maintaining a SnowPro Certification shows a strategic commitment to expand your Snowflake knowledge and skills, and advance your career. As Snowflake continues to grow, the demand for Snowflake experience and expertise is also rapidly increasing. A recent survey of certified SnowPros […]

The post Snowflake’s Recertification Program: How to maintain your SnowPro status appeared first on Snowflake.

Reserve your spot today.

The post How Healthcare and Life Sciences Organizations Are Accelerating Data, Apps and AI Strategy in the Data Cloud appeared first on Snowflake.

Bring generative AI securely to governed data.

The post Snowflake Cortex LLM Functions Moves to General Availability with New LLMs, Improved Retrieval and Enhanced AI Safety appeared first on Snowflake.

Snowflake is dedicated to providing customers with intuitive solutions that streamline their operations and drive success. As part of our ongoing commitment to helping customers in this way, we’re introducing updates to the Cost Management Interface to make managing Snowflake spend easier at an organization level and accessible to more roles. Snowsight: Your Centralized Console […]

The post Better See and Control Your Snowflake Spend with the Cost Management Interface, Now Generally Available appeared first on Snowflake.

Accelerate data engineering for analytics, AI and applications

The post Reimagine Batch and Streaming Data Pipelines with Dynamic Tables, Now Generally Available appeared first on Snowflake.

Together, we're embarking on a mission to evolve RAG and retrieval benchmarks.

The post Moving Beyond MTEB and BEIR: Snowflake AI Research Joins Forces with the University of Waterloo to Evolve RAG and Retrieval Benchmarks appeared first on Snowflake.

Arctic-TILT secures top score in DocVQA benchmark.

The post Snowflake’s Arctic-TILT: A State-of-the-Art Document Intelligence LLM in a Single A10 GPU appeared first on Snowflake.

Get listing tips that are useful whether you’re a data product provider, consumer or both

The post Top 8 Snowflake Marketplace Questions, Answered appeared first on Snowflake.

Deep dive for using DNS with Cloudera Data Services on Azure

The post DNS Zone Setup Best Practices on Azure appeared first on Cloudera Blog.

Bucket Layouts in Apache Ozone

The post Apache Ozone – A Multi-Protocol Aware Storage System appeared first on Cloudera Blog.

AI can help small businesses improve their financial management practices, which helps them save money.

Companies that rely on big data need to use the most reliable online data transfer services.

Automate coding tasks with Gen AI - the ultimate tool for developers to streamline writing and enhance productivity.

AI startups should invest in the right IT support staff if they want to be successful.

AI technology can help sales people make the most of POS systems, which helps them reach their goals more easily.

AI is helping insurance companies better deal with DUIs when writing policies.

Experience the game-changing impact of AI on data analytics in 2024. Elevate your strategy now!

AI technology has led to breakthroughs in managed detection solutions, which is helping fight cyberattacks.

AI technology is helping improve public safety, which can prevent another accident like the Houston Metro bus incident.

AI technology has created a number of new opportunities for the education sector, which is creating new career opportunities as well.

AI technology has significantly improved image recognition technology, which helps with modern security.

Unleash the power of new AI startups transforming legal solutions, surpassing ChatGPT's performance. Elevate your legal processes today!

AI can help photographers come up with better headshots, which is a huge opportunity for many professionals.

Lawyers are becoming more dependent on AI technology, which is helping them get better settlements for customers in ride-sharing accidents.

Big data technology has significantly changed the state of American politics.

Reading Time: 3 minutes Overview This Blog will see how we could use Spring WebFlux WebClient for making non-blocking HTTP requests. What Is the WebClient? Just put, the WebClient class which provides a common method for sending or receiving data from any local, intranet, or Internet resource which is identified by a URI. The WebClient class uses the WebRequest class which provides the access to resources. It is an interface that stands for Continue Reading

The post Spring WebFlux — WebClient – Duplicate – [#180397] appeared first on Knoldus Blogs.

Reading Time: < 1 minute The post An Introduction to Kafka’s Internals – Duplicate – [#159280] appeared first on Knoldus Blogs.

Machine learning has revolutionized email spam detection, offering sophisticated solutions to combat the continuous influx of unwanted emails. Deep learning techniques, with their advanced pattern recognition capabilities, have significantly improved spam detection accuracy, ensuring that users receive only relevant and valuable information in their inboxes. Explore how machine learning is enhancing email security and reducing spam effectively.

The post Using Machine Learning to Distinguish Between Spam and Legitimate Emails appeared first on WeCloudData.

Machine learning is revolutionizing traffic prediction, enhancing route planning and reducing congestion in urban commuting. Explore advanced algorithms like Uni-LSTM and BiLSTM for accurate forecasts, along with Google Maps' integration of deep learning for improved ETA accuracy. Discover the practical utility of machine learning in everyday life.

The post Navigating your way: Traffic Prediction with Machine Learning appeared first on WeCloudData.

Introduction In recent years, the landscape of employment has undergone a profound transformation, with remote work emerging as a viable and increasingly popular option for professionals across various industries. The advent of advanced technologies and shifting attitudes towards work-life balance have paved the way for remote work to become a mainstream phenomenon. In this blog, […]

The post Analyzing Remote Work Opportunities in Today’s North America Job Market appeared first on WeCloudData.

Explore how energy management is evolving with advanced solar power generation forecasting, enabling more efficient use of renewable resources and optimizing grid performance. Dive into the future of sustainable energy solutions.

The post Energy Management: Solar Power Generation Forecasting appeared first on WeCloudData.

Discover how machine learning is revolutionizing smart agriculture, enhancing crop yields, optimizing resources, and making farming more sustainable. Learn about the latest technologies and trends in agriculture.

The post Smart Agriculture: How Machine Learning is Helping Farming appeared first on WeCloudData.

Weather forecasting is a complex science that involves analyzing vast amounts of data from various sources, including satellites, weather stations, and radar systems.

The post More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting appeared first on WeCloudData.

For those of you who read my last blog, I looked at how the data science job market had performed in 2023 – at least since August when the data collection began. The end of the calendar year provided a fitting moment to take a step back and assess what had transpired in the ensuing […]

The post Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024 appeared first on WeCloudData.

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

The post Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning appeared first on WeCloudData.

Revolutionize healthcare with machine learning for early disease detection. Explore cutting-edge solutions improving everyday health, ensuring timely interventions for a healthier future. #HealthTech #MachineLearning #DiseaseDetection

The post Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection appeared first on WeCloudData.

Machine Learning Engineer: Navigate the evolving landscape of ML in 2024 with insights from WeCloudData's workshop. Explore the structured ML pipeline, data engineering essentials, model engineering nuances, ML Ops challenges, and diverse tools. Build robust ML systems and embark on a successful journey into the dynamic world of ML engineering.

The post Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide appeared first on WeCloudData.

"Discover Data Science, Engineering, and Analysis with WeCloudData. Uncover unique roles, skills, and tools in specialized bootcamps. Propel your career in decoding insights, building data infrastructure, and actionable intelligence

The post Different between Data Science, Engineering, and Analysis appeared first on WeCloudData.

Data Job: Elevate your career with a compelling resume tailored for success. Uncover the transformative power of OpenAI API in crafting dynamic content that captivates hiring managers. Explore the art of showcasing data skills, quantifying achievements, and aligning with job descriptions.

The post Crafting an Effective Resume with OpenAI appeared first on WeCloudData.

DevOps Engineer: Navigate the dynamic world of seamless software development in 2024. Uncover the role, skills, and knowledge essential for success. Craft your learning path with WeCloudData's curated DevOps Engineering program, exploring version control, CI/CD, containerization, orchestration, and Infrastructure as Code. Embark on a transformative journey toward mastering the art of DevOps Engineering for a thriving career in technology.

The post Cloud Engineering and DevOps: Insights for 2024 appeared first on WeCloudData.

Machine Learning revolutionizes fraud detection in the banking industry. Explore advanced algorithms shaping the future of credit card fraud detection for enhanced security and proactive risk management.

The post Fraud Detection in the Banking Industry: Leveraging Machine Learning for Credit Card Fraud Detection appeared first on WeCloudData.

Machine Learning Platforms (ML Platforms) have the potential to be a key component in achieving production ML at scale without large technical debt, yet ML Platforms are not often understood. This document outlines the key concepts and paradigm shifts that led to the conceptualization of ML Platforms in an effort to increase an understanding of these platforms and how they can best be applied.

Technical Debt and development velocity defined

Development Velocity

Machine learning development velocity refers to the speed and efficiency at which machine learning (ML) projects progress from the initial concept to deployment in a production environment. It encompasses the entire lifecycle of a ma…

I had the pleasure of being one of the speakers at GOTO Amsterdam 2023 where I talked about Why Most Data Projects Fail & How to Avoid It and I can’t wait to share this talk with you! Abstract: Unfortunately, the majority of data projects fail. Yet, they fail for the same reasons. Most […]

https://youtu.be/ayAGiPd2zq4?si=o0SHbsbT0-Pmdkqd This week on Unapologetically Technical, I had the wonderful pleasure of interviewing Gunnar Morling, the creator of the Billion Row Challenge and Senior Staff Software Engineer at Decodable. In this episode, we talk about why it is so important to stay in a position long enough to gain experience and see the success or failure of decisions. […]

https://youtu.be/ZJF7zLvH6-w?si=YHBTQ7B7XB2zwkrq It has been quite a while, but we’re finally back to a new episode this year! In this episode of Unapologetically Technical, I interview Tom Scott, the Founder and CEO of Streambased. Join us as we talk about distributed systems and how he created distributed or what we call the Monte Carlo simulations. We […]

https://youtu.be/0WAfevbtdeY?si=YbN7DhD3ApqoNhf3 The premier of my latest talk covering The State of Data Engineering. I go through the history of the industry to see where we’re heading. This starts with data warehousing and goes into data science. I finish off by showing how data engineering can avoid the same fate as data warehousing and data science. […]

https://youtu.be/UgzFYMDV36A?si=AOv16-nAJ2yuSlbS What better year to start the Christmas season than to drop a new episode of Unapologetically Technical! In this episode, I interview Stephane Derosiaux from Conduktor. We talk about his time evolving architectures and creating real-time systems at Auchan (grocery) and Adeo/Leroy Merlin (Home Improvement). We discuss the issues of British food and how […]

https://youtu.be/6JwMxovXUjg?si=ghQ5MMT6Cup9pIzu Another month, another episode! In this episode of Unapologetically Technical, I interview Matteo Merli the co-creator of Apache Pulsar and CTO of StreamNative. We talk about his interest in creating communication protocols and how that morphed into creating Apache Pulsar. He shares why Pulsar was created at Yahoo and how they convinced and managed […]

https://youtu.be/gmOxIAt0kJA?si=Q95ZCyEaIiNA7zLL Unapologetically Technical is finally back with a new episode! In this episode of Unapologetically Technical, I had the pleasure of interviewing Neil Avery from Liquidlabs. We discussed his experiences creating grid computing systems at major banks like Royal Bank of Scotland and Deutchebank, as well as his journey to founding a startup called Logscape […]

Learn about some common approaches for collecting data from multiple AWS services across your organization, including common patterns with code samples that you can reuse to consume the data.

The binary log (binlog) in MySQL is used to capture database modifications on a MySQL server in a logical format known as “events”. These database modifications can include DCL statements (such as CREATE USER or GRANT), DDL statements (CREATE TABLE, ALTER TABLE) and DML statements (INSERT, UPDATE, DELETE). When such a modification is committed in […]

Today, we are excited to announce the Mixtral-8x22B large language model (LLM), developed by Mistral AI, is available for customers through Amazon SageMaker JumpStart to deploy with one click for running inference. You can try out this model with SageMaker JumpStart, a machine learning (ML) hub that provides access to algorithms and models so you […]

While Generative AI can create highly realistic content, including text, images, and videos, it can also generate outputs that appear plausible but are verifiably incorrect. Incorporating human judgment is crucial, especially in complex and high-risk decision-making scenarios. This involves building a human-in-the-loop process where humans play an active role in decision making alongside the AI system. In this blog post, you will learn about prompt chaining, how to break a complex task into multiple tasks to use prompt chaining with an LLM in a specific order, and how to involve a human to review the response generated by the LLM.

Today, we are announcing the general availability of Amazon DocumentDB (with MongoDB compatibility) zero-ETL integration with Amazon OpenSearch Service. Amazon DocumentDB provides native text search and vector search capabilities. With Amazon OpenSearch Service, you can perform advanced search analytics, such as fuzzy search, synonym search, cross-collection search, and multilingual search, on Amazon DocumentDB data. Zero-ETL […]

Today, we are announcing broker removal capability for Amazon Managed Streaming for Apache Kafka (Amazon MSK) provisioned clusters, which lets you remove multiple brokers from your provisioned clusters. You can now reduce your cluster’s storage and compute capacity by removing sets of brokers, with no availability impact, data durability risk, or disruption to your data streaming […]

Apache Airflow is a popular platform for enterprises looking to orchestrate complex data pipelines and workflows. Amazon Managed Workflows for Apache Airflow (Amazon MWAA) is a managed service that streamlines the setup and operation of secure and highly available Airflow environments in the cloud. In this post, we’re excited to introduce two new features that […]

This post is co-written with HyeKyung Yang, Jieun Lim, and SeungBum Shim from LotteON. LotteON aims to be a platform that not only sells products, but also provides a personalized recommendation experience tailored to your preferred lifestyle. LotteON operates various specialty stores, including fashion, beauty, luxury, and kids, and strives to provide a personalized shopping […]

In this post, we discuss how Amazon Redshift spatial index functions such as Hexagonal hierarchical geospatial indexing system (or H3) can be used to represent spatial data using H3 indexing for fast spatial lookups at scale. Navigating the vast landscape of data-driven insights has always been an exciting endeavor. As technology continues to evolve, one specific facet of this journey is reaching unprecedented proportions: geospatial data.

We often want to take an inventory of the types of data in our database. What is our schema? This is most useful in DEV or TEST databases whose content is created by several users or teams, is often experimental, or has multiple versions. Even in controlled environments like PROD, where the application validates data […]

Learn about three different ways you can complete ACE mappings using AWS Partner CRM Connector Version 2.0.

Crafting new questions for exams and quizzes can be tedious and time-consuming for educators. The time required varies based on factors like subject matter, question types, experience level, and class level. Multiple-choice questions require substantial time to generate quality distractors and ensure a single unambiguous answer, and composing effective true-false questions demands careful effort to […]

ONNX is an open source machine learning (ML) framework that provides interoperability across a wide range of frameworks, operating systems, and hardware platforms. ONNX Runtime is the runtime engine used for model inference and training with ONNX. AWS Graviton3 processors are optimized for ML workloads, including support for bfloat16, Scalable Vector Extension (SVE), and Matrix […]

An AWS Elastic IP (EIP) address is a static, public, and unique IPv4 address. In this post, we show you how to analyze EIP usage history using AWS CloudTrail and Amazon Athena to have a better insight of your EIP usage pattern in your AWS account. You can use this solution regularly as part of your cost-optimization efforts to safely remove unused EIPs to reduce your costs.

Amazon Ads helps advertisers and brands achieve their business goals by developing innovative solutions that reach millions of Amazon customers at every stage of their journey. At Amazon Ads, we believe that what makes advertising effective is delivering relevant ads in the right context and at the right moment within the consumer buying journey. With that […]

Amazon Relational Database Server (Amazon RDS) Custom for SQL Server is a managed database service for applications that require operating system access and database customization that is not available in Amazon RDS for SQL Server. The ability to encrypt an application’s connection to RDS Custom is a common security requirement. Network encryption protects data in […]

Amazon announced Amazon Relational Database (Amazon RDS) for Db2 at re:Invent 2023. RDS for Db2 is the latest addition to the Amazon RDS family of database engines. You can deploy a Db2 database on scalable hardware in minutes designed for optimal performance with an optional highly available database using a Multi-AZ deployment, which synchronously replicates […]

As applications grow to serve more users with sensitive data, implementing robust security controls becomes critically important. One way to enhance security and meet complex access requirements is through row-level security. Row-level security allows you to limit data access at the row level based on user attributes. PostgreSQL is one of the most popular open […]

In this post, we provide an overview of the state-of-the-art embedding models by Voyage AI and show a RAG implementation with Voyage AI’s text embedding model on Amazon SageMaker Jumpstart, Anthropic’s Claude 3 model on Amazon Bedrock, and Amazon OpenSearch Service. Voyage AI’s embedding models are the preferred embedding models for Anthropic. In addition to general-purpose embedding models, Voyage AI offers domain-specific embedding models that are tuned to a particular domain.

Amazon DynamoDB is a fully managed, serverless, key-value NoSQL database designed to run high-performance applications at any scale. Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Serverless technologies eliminate infrastructure management tasks […]

AWS Database Migration Service (AWS DMS) is a managed migration and replication service that helps you move your database and analytic workloads to AWS quickly and securely. The source database remains fully operational during the migration, minimizing downtime to applications that rely on the database. AWS DMS can migrate data to and from most widely […]

Recent advances in artificial intelligence have led to the emergence of generative AI that can produce human-like novel content such as images, text, and audio. These models are pre-trained on massive datasets and, to sometimes fine-tuned with smaller sets of more task specific data. An important aspect of developing effective generative AI application is Reinforcement […]

Amazon Titan Text Premier, the latest addition to the Amazon Titan family of large language models (LLMs), is now generally available in Amazon Bedrock. Amazon Bedrock is a fully managed service that offers a choice of high-performing foundation models (FMs) from leading artificial intelligence (AI) companies like AI21 Labs, Anthropic, Cohere, Meta, Stability AI, and […]

In this post, we provide a comparison of results obtained by two such techniques: zero-shot and few-shot prompting. We also explore the utility of the RAG prompt engineering technique as it applies to the task of summarization. Evaluating LLMs is an undervalued part of the machine learning (ML) pipeline.

In this post, we walk you through performing schema changes and common maintenance tasks such as table and index reorganization, VACUUM FULL, and materialized view refreshes with minimal downtime using blue/green deployments for an Amazon Relational Database (Amazon RDS) for PostgreSQL database or an Amazon Aurora PostgreSQL-Compatible Edition cluster. Solution overview Amazon RDS blue/green deployment […]

AWS Database Migration Service (AWS DMS) is a managed migration and replication service that helps move your databases to AWS securely with minimal downtime and zero data loss. You can use this service for both homogeneous or heterogeneous migrations. Data migration challenges can vary depending on the size of the data, complexity of the data […]

In today’s technological landscape, artificial intelligence (AI) and machine learning (ML) are becoming increasingly accessible, enabling builders of all skill levels to harness their power. As more companies adopt AI solutions, there’s a growing need to upskill both technical and non-technical teams in responsibly expanding AI usage. Getting hands-on experience is crucial for understanding and […]

Because organizations store a large amount of their data in relational databases, there is a clear impetus to augment these datasets using generative artificial intelligence (AI) foundation models to elevate end-user experiences. In this post, we explore how to integrate Amazon Aurora MySQL-Compatible Edition with a generative AI model using Amazon Aurora Machine Learning. We walk […]

Fine-tuning large language models (LLMs) creates tailored customer experiences that align with a brand’s unique voice. Amazon SageMaker Canvas and Amazon SageMaker JumpStart democratize this process, offering no-code solutions and pre-trained models that enable businesses to fine-tune LLMs without deep technical expertise, helping organizations move faster with fewer technical resources. SageMaker Canvas provides an intuitive […]

In the rapidly evolving realm of Web3, developers face the daunting challenge of managing and using vast amounts of blockchain data. This is where ZettaBlock steps in, revolutionizing Web3 development by offering a unified platform that integrates real-time and historical on-chain and off-chain data, both public and private. Enhanced with AI-driven tools, ZettaBlock is designed […]

I had an idea today pop into my head. It’s starts with the premise that AI will assist it workers, not replace them. Can’t see that happening anytime soon. Given where AI assisted code generation is at and will be in a few years, wouldn’t it be in a company’s best interest to migrate back on-prem, since deploying code and infrastructure with ai assistance and open source tools will be way cheaper? With enough organizations realizing it’d be cheaper and more secure to run their own IT services, I’m thinking big tech going all in on AI will eat themselves. submitted by /u/Cool_Watercress3729 [link] [comments]

I have sql server and adf background, recently asked to explore azure synapse analytics for a cloud data warehouse. I haven’t started on it yet, but wanted to know how is it if you have worked on it? submitted by /u/Nomad4455 [link] [comments]

As title suggests. Currently using windows, wondering if I should change to mac. submitted by /u/casematta [link] [comments]

I'm currently a data analyst consultant in Australia early in my career looking to pivot to data engineering. I'm currently holding two job offers: Junior Data Scientist Social & policy research organisation Project-based work with NFP & government organisations Using R and SQL Less focus on Machine Learning and more statistical analysis Still maturing data engineering/infrastructure side, interviewer mentioned there may be opportunity to transitioning into data engineering in 1-2 years Junior Data Engineer Consultant Data consulting startup with 30-40 employees Opportunity to learn more diverse tools like databricks, dbt, Snowflake depending on the client Seems to be a strong emphasis on L…

currenlty a DE intern, but i work mostly on making ETL pipelines using python, requests, pandas, and cron for scheduling. want to add more tools to my arsenal, but overwhelmed by the number of DE tools. what should i learn first such that it follows the 80/20 rule? submitted by /u/siaosiaos [link] [comments]

Can someone explain the difference/differentiators? submitted by /u/2timeBiscuits [link] [comments]

Hi Repost from r/datascience -- I'm trying to figure out how to applying filtering to parquet datasets at read time that include transformations applied to columns. I want to apply a function to column at *read time*, filter based on the output of that function, and only load those rows that pass the filtering Specifically, one of my columns is a date. I want to select only those rows, where the floor(date) is within a specific set of dates. I know how to filter using simple predicates e.g. filters=[('x', 'in', some_list), ('y', '<', some_value)...] but I specifically would like to filter based on transformations. I can do the filtering *after* loading the parquet dataset into memory from d…

My marketing company (small/large) currently uses the Adveronix tool to connect client accounts created for extracting data from Google Ads and Meta Ads into Sheets, where analysts then take it to BI for analysis. The problem is that Adveronix constantly has scheduling issues and is not very performant. Does anyone know any good alternatives? Preferably one that can transfer data to BigQuery. submitted by /u/SlightSetting7846 [link] [comments]

I am currently working in DE but with old tech stack and also using on prem infra.This is affecting opportunities outside my current company. I am looking for practical way to learn cloud by doing projects etc. I am not interested in certification atleast for now, also general project ideas in web does not make sense to me. I want practical action items (may be clear project idea) to learn cloud. I tried AWS workshop but it did not work for me. If there is a yt channel that explains cloud with a project that will be helpful. Or bootcamp is also fine. Anything that will make to work on details will interest me. Please share your suggestions. TIA submitted by /u/renganathan91 [link] [comments]

In company submitted by /u/crazyguy2404 [link] [comments]

I want to make a career shift in data engineering. I have 5+ years of experience in data analysis, forecasting, revenue prediction. I am looking for advice on how to transition into data engg. I am proficient in SQL, python, rdbms and machine learning. I have seen a lot of data engg jobs want Hadoop, big query, azure or gcp, map reduce and other stuff but if anyone is kind enough to let me know how to start it would be great. I am applying for MLE and DS jobs but I have barely received calls. (US) Thanks in advance submitted by /u/srijit43 [link] [comments]

I have an input source which I am reading using Databricks autoloader/spark streaming, the input directory is partitioned like year/month/day/some_version. Now I want to change my input directory path, which is partitioned like year/month/day/hour, I know the checkpoint either needs to be cleared or changed, but does autoloader_schema also need to be cleared/changed? Note: Both input directories have the same kind of data structure (file format and schema) submitted by /u/SD_strange [link] [comments]

Before any mathematical development, we must first understand the foundation of learning and how it is closely linked to the concept of errorThe Hypothetical CookImagine that, on any given day, you decide to replicate a delicacy you ate at a renowned restaurant. You remember the taste of this delicacy perfectly. Based on this, you search for the recipe online and attempt to reproduce it at home.Let’s denote the taste of the delicacy you ate at the restaurant as T, which will represent the expected taste, your target. Based on the recipe you found online, you hope to achieve this goal, i.e., the taste T.To reproduce this recipe, you follow all the indicated steps, use all the ingredients, th…

Enabling the algorithm to work its magicPhoto by Mourizal Zativa on UnsplashYou must have heard the saying “garbage in, garbage out.” This saying is indeed applicable when training machine learning models. If we train machine learning models using irrelevant data, even the best machine learning algorithms won’t help much. Conversely, using well-engineered meaningful features can achieve superior performance even with a simple machine learning algorithm. So, then, how can we create these meaningful features that will maximize our model’s performance? The answer is feature engineering. Working on feature engineering is especially important when working with traditional machine learning algori…

An explanation of the backpropagation through time algorithmContinue reading on Towards Data Science »

Be mindful of the measure you choosePhoto by Isaac Smith on UnsplashTesting and benchmarking machine learning models by comparing their predictions on a test set, even after deployment, is of fundamental importance. To do this, one needs to think of a measure or score that takes a prediction and a test point and assigns a value measuring how successful the prediction is with respect to the test point. However, one should think carefully about which scoring measure is appropriate. In particular, when choosing a method to evaluate a prediction we should adhere to the idea of proper scoring rules. I only give a loose definition of this idea here, but basically, we want a score that is minimize…

Seeking a system that works for current and future codesContinue reading on Towards Data Science »

I Built a Reusable Dashboard for Read the Docs Traffic Analytics Using Vizro-AI(In less than 50 lines of code)The resulting dashboard from typical traffic dataIn this article, I’ll explain how I built a dashboard to visualize the traffic data for some documentation I maintain as a technical writer. I have few design skills and limited Python experience, so needed a simple, low-code approach to show the impact and usage of the documentation I maintain. This turned out to be an open-source solution: Vizro as a template for a low-code dashboard, and Vizro-AI to build the individual charts with generative AI.TL;DR?If you want to jump right in, you can find the Jupyter Notebook code for the dash…

Learn How to Visualize Time Series Data from Satellite Imagery on a Map Using Folium and Plotly Libraries (Python)Continue reading on Towards Data Science »

Asking for feedback is a secretly powerful tool in data work. Let’s talk about why, and how to do it wellPhoto by Priscilla Du Preez 🇨🇦 on UnsplashA recent conversation with a fellow data practitioner sparked an idea that I want to share today. What is your process for conducting data analysis or modeling, and what do you consider important but perhaps unsung parts of getting the job done well? I realized as we were talking that getting feedback from other people as I go through the work is an extremely important part of my process, but it’s not actually something that is explicitly instructed to junior practitioners in my experience. I thought it would be useful to explain how I do this an…

This blog post describes practices for “what good looks like” in AIML UX, suggests examples, and maps a path forward for product leadersMuch time, blood, sweat, tears, and ink have been spilled in recent years to focus on Artificial Intelligence and Machine Learning (AIML) models, their size and performance, their rapid evolution, their training costs, their security, their latency, and the various model hosting choices in the cloud, locally, and at the edge. One overlooked area has been the Final Mile product User Experience (UX), and how best to incorporate AIML into products.This blog post describes several practices for “what good looks like” in AIML UX, suggests reference examples, and…

How to get insights about model robustness/reliability, training data size adequacy, and moreContinue reading on Towards Data Science »

Advice and tips that helped me get my first promotion as a data scientistContinue reading on Towards Data Science »

Exploring LLMs for ICD Coding — Part 1Building automated clinical coding systems with LLMsClinical coding isn’t common parlance, but it significantly impacts everyone who interacts with the healthcare system in most countries. Clinical coding involves translating and mapping medical information from patient health records, such as diagnoses and procedures, into standardized numeric or alphanumeric codes. These codes are crucial for billing, healthcare analytics, and ensuring that patients receive appropriate care.A representative workflow of automated ICD coding (Image by Author)Clinical coding is typically performed by human coders with medical expertise. These coders navigate complex and …

Learn How to Enhance Your Data Analysis for Advanced Computational Tasks, from Innovative Optimization Strategies to Foundational Machine…Continue reading on Towards Data Science »

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

How to improve your Data Quality Metrics and why it matters for your business.

In Spring 2024, Monte Carlo earned both #1 in the Data Observability category and #1 in the Database Monitoring category, along with 14 additional awards.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

Leverage machine learning to proactively identify data and data pipeline anomalies so you can fix bad data before it impacts your analytics, AI and other data products.

Learn how the Aircall team uses Monte Carlo's data observability solution to maintain their focus on self-serve infrastructure without compromising on data quality.

Data reliability on your radar? Get started with these 7 must-have data quality tests, including null value, numeric distribution, and freshness tests.

Understand what prompt engineering is and why it’s valuable—as well as a few other GenAI skills that should be at the top of your list.

Four data leaders from leading organizations give their practical advice on how to implement data mesh.

This 6 step data quality management framework has helped hundreds of organizations achieve higher quality data across their modern data stacks at scale.

Experts from PayNearMe, Mission Lane, and Fundbox, share their real strategies for operationalizing GenAI, and how data quality plays an important role.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

Spark lineage has been a blindspot for the data engineering industry so we set off to engineer a solution. Here's how we did it.

Getting data and people where they need to be at JetBlue by prioritizing data trust.

Learn why your data incident management process should happen at the data product level, how to manage incidents effectively, and who should be responsible along the way.

Airflow 2.9Буквально час назад вышла новая версия Apache Airflow — 2.9. В релизе очень много изменений и фиксов, а также новых фич:— поддержка Python 3.12— Listener API стабилизировался и его можно использовать в продакшене— Поддержка multiple executors (AIP-61 Hybrid Execution)— DatasetOrTimeSchedule, срабатывание по Timetable расписанию и Dataset событиям— @task.bash декоратор. Возвращаемое значение обёрнутой в этот декоратор функции будет выполнено в виде bash-командыПолный список изменений смотрите по ссылке.

У ребят из PostgresPro есть отличные, а главное бесплатные, книги по PostgreSQL: https://postgrespro.ru/education/books

Убийца DuckDB 🔫А вы уже видели аналог DuckDB от ребят из ClickHouse? Называется это чудо chDB. Представляет из себя встроенную OLAP базу данных под капотом которой пыхтит движок ClickHouse. Умеет в Parquet, Arrow, ORC и кучу других форматов, есть биндинги для Python, Go, Rust, NodeJS, Bun. Работает на Linux и MacOS, жаль Windows не поддерживает.Узнал я о существовании этой БД из новости о том, что chDB присоединяется к ClickHouse: https://auxten.com/chdb-is-joining-clickhouse/

Ребята, всем привет! 🤝Вас стало ещё больше и поэтому я хотел напомнить о существовании моего другого телеграм-канала с вакансиями в области DataEng, DataOps и DBA: https://t.me/dataeng_jobsВ этот канал автоматически попадают вакансии по вышеупомянутым категориям, классификация происходит через OpenAI API.Подписывайтесь, скоро источников с вакансиями станет ещё больше, и возможно именно вы найдёте лучшее для себя предложение — @dataeng_jobs

Курс про Apache Airflow бесплатноРешил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курсЗа то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.Велком!

Всем привет!Я сделал курс по Luigi бесплатным для всех, велком изучать — Введение в Data Engineering: дата-пайплайныLuigi это компактный инструмент для построения зависимых между собой задач на базе нескольких сущностей: Task, Target. Он идеально подойдёт там, где Airflow кажется избыточным инструментом. В далёком 2017 году я писал небольшой обзорный пост на Luigi у себя в блоге: Строим Data Pipeline на Python и Luigi. С тех пор мало что изменилось в концепции инструмента, он по прежнему компактный и простой, именно в этом вся его прелесть.

В очередной раз наткнулся в сети на статью про эксплуатацию Apache Airflow в среде Kubernetes: What we learned after running Airflow on Kubernetes for 2 years. У автора развёрнут Airflow с 300 дагами и около 5 000 задачами. Преимущественно они запускают лёгкие таски по типу dbt-трансформаций, поэтому при использовании KubernetesExecutor столкнулись с тем, что инициализация Pod занимает больше времени чем выполнение самой задачи. Выбор в итоге пал на CeleryExecutor. В целом статья не столько про нюансы работы Airflow внутри Kubernetes-кластера сколько про опыт эксплуатации инструмента в их конкретном случае. Полезно.В нашей команде Airflow также является ключевым инструментом для выполнения …

Сейчас много шума вокруг DuckDB. Это компактная OLAP база данных на стероидах. На днях наткнулся на статью в рассылке про DuckDB и почему на неё стоит обратить внимание: What is DuckDB?Также возможно вас заинтересует сравнение polars (убийца pandas) и DuckDB: DuckDB vs Polars for Data Engineering

Привет! В рамках возобновления работы над своим старым проектом по агрегации вакансий с удалённым форматом работы, я запустил отдельный телеграм-канал, где в автоматическом режиме публикуются вакансии из категории Data Engineering и DataOps: https://t.me/dataeng_jobsПопадают они туда в процессе сбора и анализа вакансий с различных профильных сайтов типа Хабр Карьера, VC, DevBy и т.д. Классифицируются они через API сервиса OpenAI, проще говоря GPT4.Если вы в поиске работы, то моя инициатива вероятно поможет вам найти нужный оффер быстрее 🚀Подписывайтесь

Гайд о том как развернуть Apache Airflow локально через Kubernetes: https://blog.det.life/setting-up-apache-airflow-on-kubernetes-for-local-development-f873115fbe93

Экскурс в устройство современных OLAP баз данных в рамках ежегодного курса от Carnegie Mellon University — Advanced Database Systems: Modern OLAP Database Systems

Airflow Evolution at SnapНа платформе Medium появилась статья про эволюцию Apache Airflow в компании Snap: Airflow Evolution at SnapПреимущественно в статье речь идёт о работе с RBAC и масштабированием Airflow.Также помимо статьи, вы можете посмотреть на Ютубе доклад с прошедшего в 2023 году Airflow Summit: Airflow at Snap: Managing permissions, migrations and internal tools

📣One Day Offer для Data Engineer📣 10 февраля 🕤 Sportmaster Lab проводит One Day Offer для Data Engineer. One Day Offer от SM Lab — это отличная возможность пройти все этапы отбора и получить приглашение на работу всего за один день. SM Lab - аккредитованная ИТ-компания в составе группы компаний «Спортмастер». Мы находимся в поисках Middle Data Engineer, c хорошим знанием Python и SQL, с опытом работы от 2-х лет. Для нас важно наличие опыта использования экосистемы Hadoop (HDFS, Hive, Spark) и Apache AirFlow. 📍Немного про задачи:- Реализация ETL в Hadoop (с помощью Airflow). - Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы. - Батч и стримы с помощь…

Tim Berglund своего рода легенда в мире распределенных систем, популяризатор этой темы. Я познакомился с его творчеством через классный доклад про распределённые системы на Ютубе около 6 или 7 лет назад: Distributed Systems in One Lesson. Он какое-то время работал в компании Confluent (авторы Apache Kafka), где активно продвигал Кафку в массы. Сейчас же он работает в StarTree, cloud-решение на базе Apache Pinot. Его новый доклад как раз посвящен Apache Pinot, распределенному OLAP хранилищу.Собственно сам доклад в рамках GOTO Conference: Introduction to Real-Time Analytics with Apache PinotИ краткое и понятное видео что из себя представляет Apache Pinot от него же: What is Apache Pinot? (and…

Встречаемся 23 мая на VK Data Meetup от VK Cloud!VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. 23 мая в 15:00 МСК присоединяйтесь, чтобы поговорить о набирающих актуальность архитектурных паттернах платформ данных и о технологиях, которые позволят их реализовать. Также на митапе разберут реальные технические кейсы. Мероприятие будет интересно дата-инженерам, специалистам по DWH, администраторам, архитекторам и разработчикам. В программе выступления экспертов из «Тинькофф», Ozon Fintech, VK, «Детского мира» и других компаний. Ну и конечно, в конце митапа вас ждет афтепати в офисе VK! Регистрируйтесь!

Опубликовал блог пост про подготовку к поиску работы при переезде или иммиграции. Так же подойдет к тем, кто только начинает учится и не понимает, куда двигаться и что учить.

Pytup в Нижнем Новгороде 1 июняВас ждёт большая конференция по Python-разработке Pytup. В программе — выступления спикеров, новости языка, актуальные кейсы экспертов и, конечно, нетворкинг.Узнаете, как создать платформу для обработки данных в вашей IT-компании или микросервис обработки геометрических данных. А ещё послушаете крутые доклады, получите ответы на вопросы и пообщаетесь со спикерами и коллегами.Зарегистрироваться на Pytup! 💛

14-15 мая - Iceberg Summit. Iceberg формат для хранения данных в озере данных lake house. Если вы работаете с данными, то вы должны знать один из 3х форматов delta, iceberg, hudi. Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.

Заменит ли нас AI?:) https://youtube.com/shorts/eJMD575FZtMСделайте доброе дело, поставьте like на YouTube 😐

От создателей Академии Аналитиков Авито — открытый курс по прикладной статистике. Бесплатно, без регистрации и смс. Для тех, кто хочет научиться: – применять критерии Манна-Уитни, t-test, бутстрап, хи-квадрат;– использовать специализированные библиотеки Python;– разрешать спорные ситуации при анализе данных.– экспериментировать, выводить критерии, доказывать формулы. Уроки построены на примере реальных данных и показывают, как решаются задачи бизнеса с применением прикладной статистики. Рекомендуем.

▶️ SQL + dbt = God Mode Data Modeling / Подходы к созданию витрины корпоративных метрик— Бизнес-задача: Дашборд для Weekly Business Review (WBR)— Решение «Hardcore Cube» 🗿— Решение «Direct Runtime» 🦅 — Aggregate awareness (Looker) как оптимизация производительности— Решение «Godlike modeling» 👑— Как отразилась смена СУБД с Amazon Redshift на Snowflake на решении?✅ Как всё это использовать у себя?— Находите повторяющиеся паттерны и переиспользуйте код (DRY)— Пишите универсальный код с dbt— Не изобретайте велосипед - используйте packages— Ищите баланс между материализацией и runtime queries— Чем меньше кода, тем лучшеСлайды доклада: https://drive.google.com/file/d/1_KGuLGWksWBHz0SKUEOW1MO4Acx…

350к $ в год на расходы - хороший F.I.R.E. в Калифорнии. Вообще смотрел, надо накопить 5млн $ кешем, и уже жить на дивиденды, хотя если средний рост 5%, то 250к в год это прям не густо. Кто-то мне говорил про 2млн CAD для Торонто (наверно наивная оценка). Я сам не планирую FIRE, так как расходы высокие на детей и на жизнь, но всегда интересно смотреть на цифры - Your Neighbors Are Retiring in Their 30s. Why Can’t You? Идея не работать на дядю очень классная, и работать на себя и в своем режиме тоже замечательно. FIRE это не про сидеть на диване и ничего не делать, это больше про свободу. А свобода стоит денег, так что надо много работать и учиться. А там уже как повезет🚣Есть у кого инфа про…

P&L или Profit & Loss важная финансовая отчетность. Которая с одной стороны простая. А с другой вообще не понятно.Поэтому данный пост Reading a Profit & Loss statement вам в помощь

18 мая запланировал встречу у Сфер в Сиэтле с 10 до 12, если кто будет на районе приходите;)

20 лет назад я начал работать в системах MatLab и OriginLab c данными физических экспериментов, и это было начало пути анализа и визуализации данных. Рад, что работал, продолжаю работать и общаться с крутыми и максимально недушными командами в классных компаниях и как BI разработчик, и как независимый консультант, и как менеджер. Много драйва было в сообществе Tableau, что сильно увлекло, кардинально утащило в датавиз и изменило карьерный трек. Были блоги, статьи, конкурсы и много общения с аналитиками из разных стран. Удивительно, но самые ценные вещи в аналитике узнаешь не на официальных мероприятиях и конференциях, а в неформальном общении и различных дата-активностях. Особенно интересны…

https://youtu.be/1dqZqKsdjsU

В статье про Analytics as a Code автор рассказывает про 4 уровня решений. Их решение Holistics, конечно же на 4м. Мне у них особенно понравилось:As analytics logic becomes more complex, it becomes harder to manage and maintain the code. A 500-1000 line SQL query is not rare in companies reaching a certain size. At dbt Coalesce 2023, dbt Labs noted a rising trend of projects with over 5000 dbt models.То есть они предлагают 2500 в дбт и 2500 в BI? Мне кажется будет в итоге 5000 в дбт, и еще 3000 в Holistics. Потом придет новый босс и скажет мигрируем все на Databricks (PySpark) и Power BI или Tableau (к сожалению это не шутки, так всегда и бывает)Мне как бывшему BIайщику, кто работал на разны…

Вот это уже интересный тренд, и это не только в Гугле. В других больших компаниях из списка S&P500 похожий тренд, но называется он по другому - increase global presence (имеется ввиду открыть офис в Индии). Мне даже как-то менеджер сказал - “Чего ты паришься, что в Канаде зарплата меньше, чем у такого же инженера в США в его же команде, вон мы в Индии офис открываем там на твою зарплату мы наймем несколько инженеров”. Индийские компании уже давно оказывают услуги, чаще как консалтинг. Например софт для боинга 747. Здесь идет речь про именно открытие офисов и центров разработки в странах с дешевой рабочей силой. Поэтому вопрос, что будет быстрей - вас заменит AI или дешевой рабочей силой (чт…

Forrester Wave: Data Lakehouses, Q2 2024В отчете Forrester Wave за второй квартал 2024 года рассмотрены 13 ключевых вендоров решений для data lakehouse, их предложения и позиции на рынке. Авторы отчета с коллегами провели анализ по 24 критериям, оценивая важнейшие компании, предоставляющие услуги в области управления данными. Особое внимание уделено интегрированным решениям, использованию GenAI и производительности при масштабировании, что является критически важным для современных бизнес-задач.Традиционные хранилища данных и озера данных уже не справляются с растущими требованиями бизнеса из-за недостаточной гибкости, масштабируемости, интеграции, автоматизации и управления. Решения data l…

Мошенничество с помощью ИИКак ИИ помогает мошенникам обманывать людей и воровать аккаунты в мессенджерах?Что такое дипфейк, и зачем его распознавать?🔜 Ответы — уже на канале «Дата Коля»!

Искусственный интеллект в EdtechРебята из «Яндекс Практикума» поделились интересным исследованием об использовании искусственного интеллекта в эдтехе.🔜 Мы уже затрагивали эту тему в первом эпизоде нового сезона Data Heroes — там Анатолий Карпов рассказал, как ИИ помогает студентам быстро получать ответы на вопросы и одновременно снижает нагрузку на техподдержку. В статье «Яндекс Практикума» есть еще больше примеров.Условно их можно разделить на две большие группы: помощь студентам и помощь преподавателям.🔵 Студентам ИИ может помочь выполнить домашнее задание, дать фидбек и указать на ошибки, объяснить сложную тему простым языком, составить персонализированный план обучения.🔵 Преподавателям …

Что было на Google I/OНе успели обсудить все новости от OpenAI, как ребята Google тоже провели свою ежегодную конференцию Google I/O.Целиком запись выложили на Youtube и законспектировали на The Verge. Принесли для вас самое интересное.🔜 Большая часть новостей — про Gemini, флагманскую модель Google.💬 Она, конечно же, станет еще быстрее и умнее, а также интегрируется в инструменты вроде Google Документов, Таблиц, Диска, Gmail’а. Обещают превратить ее в ИИ-ассистента, который поможет найти нужный файл или информацию.💬 И у Chrome тоже появится свой ИИ-помощник — к нему прикрутят Gemini Nano.💬 Gemini 1.5 Flash — модель, оптимизированная для узкого функционала, где важна высокая скорость ответа…

Spring Update от OpenAIНа вчерашнем стриме OpenAI представила несколько крутых нововведений.Пообещали выкатить десктопную версию (сначала для macOS, для Windows она появится позже) и обновить интерфейс, но это не главное.🔥 Самая громкая новость — это презентация новой флагманской модели GPT-4o.💬 Она такая же умная, как GPT4, но намного быстрее — на запрос, сказанный вслух, отвечает в среднем за 320 миллисекунд. Для сравнения у GPT4 задержка ответа составляла 5,4 секунды. Это происходило из-за того, что для «понимания» запроса, генерации и озвучивания ответа использовались 3 разные модели. GPT-4o натренирована на текстах, видео и аудио, поэтому она намного быстрее.💬 GPT-4o умеет петь, шутить…

Таблица для тех, кто собирается в поездкуПриближается сезон отпусков, пора планировать поездки и собирать чемоданы. Это процесс всегда стрессовый — даже самые собранные и внимательные из нас наверняка хоть чуть-чуть, но волнуются, что что-то забудут.В TikTok завирусился новый способ, как собрать сумки перед поездкой и 100% ничего не упустить.🔜 Все вещи, которые надо взять с собой распределяются по нескольким категориям: то, что надо положить в рюкзак, в сумку или нести на себе.🔜 Например, смартфон, часы и кошелек можно пронести на себе, ноутбук — положить в рюкзак, а купальник — в сумку или чемодан. В отдельные мешочки складываются зарядки для гаджетов и туалетные принадлежности вроде зубны…

Оплата улыбкой: за и противЧто такое «Оплата улыбкой» от Сбербанка? Достаточно ли вашего радостного лица для оплаты, или деньги тоже снимутся?🔜 Смотрите в новом видео на канале «Дата Коля»!

Рома Бунин выложил мокап-интервью с Тимуром Муйдиновым — BI-специалистом из команды Valiotti Analytics. 😊

👨‍🏫 Собеседование на BI-аналитикаНаконец-то смог провести мокап-интервью с реальным аналитиком. Давно хотел это сделать, кинул клич в чатике канала и Тимур быстро откликнулся.Почему я считаю, что могу хорошо оценить кандидата — я провёл больше 100 секций, работая в Яндексе. Даже в самый первый день выхода на работу, пришлось провести интервью о котором заранее не знал 🙈 (Макс, привет!). Я уверен, что могу быстро и полно оценить навыки BI-аналитика.Это мокап-интервью — первый раунд на должность BI-аналитика. Здесь проверяются знания BI-инструмента, основ дизайна, умение собрать требования и подобрать решение под бизнес-задачу. Проверка SQL/Python и работы с данными проходят на втором интервь…

CDO в компании: роль, обязанности и вызовыОбсудили в интервью Yandex.Cloud c Михаилом Степановым, CDO сети гипермаркетов «Лента»🔜 CDO — это Chief Data Officer. Михаил рассказал, какие задачи выполняет CDO на разных этапах развития компании и зачем эта роль нужна. Также показал на примерах из практики «Ленты», как аналитика помогает принимать важные и масштабные решения. Они могут быть разными в зависимости от сферы деятельности, но все сводятся к главному:«Работа с данными действует ровно в двух направлениях: снижении расходов и увеличении прибыльности».🔜 Интервью не только про CDO и их задачи. Оно в целом про взгляд на аналитику с точки зрения руководителя, развитие культуры работы с данны…

Georgia Tech и решение глобальных проблемВ этом семестре у меня был заключительный курс от Georgia Tech — практикум в компании. В целом, не могу сказать, что учеба давалась легко все эти годы, но все получилось. По-моему, ранее не рассказывал, почему решил попробовать именно их магистерскую программу по аналитике.💬 Прежде всего, Georgia Tech — известный американский ВУЗ, он высоко в рейтингах по CS. Мне всегда было любопытно узнать изнутри, как работает американское образование и чем отличается от российского. Помимо этого, на Западе, увы, никто не знает имя СПбГУ, а вот Georiga Tech на слуху.🔜 Кстати, недавно Georgia Tech и запрещенная в РФ Meta объединились для крутого исследования, котор…

Что происходит с ценами на Lego?Время задаться по-настоящему важными вопросами. Например, как менялась средняя цена за кирпичик Lego за последние 30 лет в зависимости от категории?🔜 Да, в интернете есть все и даже график с динамикой цен на Lego. Сайт Brick Insights собирает, как можно догадаться по названию, инсайты о Lego — обзоры, статистику и цены. Он рассчитан на взрослых фанатов бренда и помогает им найти информацию о наборах и решить, стоят ли они своих денег.Команда сайта собрала статистику о Price Per Piece (цена за элемент) с начала девяностых и до сегодняшнего дня. Но столкнулась с проблемой — наборы из некоторых категорий намного дороже остальных и из-за этого средние показатели …

Введение в современную статистику: бесплатный онлайн-учебникУчебники и любая профессиональная литература — дорогое удовольствие, поэтому, когда удается найти что-то крутое за бесплатно, этим надо делиться.Это и сделаем. На сайте проекта OpenIntro выложили второе издание учебника «Introduction to Modern Statistics». Оно все еще в работе, обновляется и дописывается, но пользоваться уже можно. Первое издание лежит рядом на том же сайте.🔵 Учебник рассчитан на начинающих изучать статистику. Он знакомит с основами работы с данными, методами анализа и визуализации.🔵 Текст состоит из теории, разборов кейсов и упражнений на закрепление материала.🔵 Первое издание можно скачать в pdf, второе пока нет,…

Интернет против ИИ-контентаВ конце марта YouTube оповестил, что теперь авторы видео должны будут отмечать ИИ-контент.Под это правило попадают ролики, которые могут ввести в заблуждение ­— то есть в них есть реалистичные сгенерированные изображения реальных людей, мест и событий. Откровенно фантастические вещи, ИИ-фильтры и спецэффекты отмечать не надо будет.💬 Если вы сгенерировали видео, где Билли Айлиш поджигает Белый дом, то его надо будет тегнуть как AI-generated. Если то же самое будет делать Геральт из Ривии, без тега можно обойтись.Это не первая платформа, которая начала отмечать ИИ-контент. Еще раньше это сделал TikTok, а Meta (та самая, которая признана экстремистской и запрещена в …

HEART: от Google с любовьюНедавно рассказали про AARRR — маркетинговый фреймворк для стартапов. Сегодня поговорим про систему метрик, которую могут применять продуктовые отделы для оценки пользовательского опыта. С ее помощью можно оценить, насколько успешен продукт (приложение, сайт, сервис) в целом либо его отдельные фичи.Фреймворк разработали в Google и назвали HEART ❤️ У них даже есть целая публикация про него. Как и в прошлый раз, название — это акроним. За каждой буквой скрывается то, что мы будем измерять.🔜 H — Happiness, счастье: насколько пользователи довольны продуктом.🔜 E — Engagement, вовлеченность: как часто и как долго используют продукт.🔜 A — Adoption, принятие: насколько акт…

Периодическая таблица датавизаЛучший способ рассказывать про датавиз ­— это с помощью датавиза!В периодической таблице методов визуализации собрали все возможные способы представить информацию на схемах, графиках и картинках — от обычных пай-чартов до комиксов.💬 Цвет ячейки показывает на предназначение метода.💬 Цвет названия — на то, что визуализируется: процессы или взаимоотношения внутри структуры.💬 Дополнительные значки говорят об особенностях метода: например, помогает ли он увидеть ситуацию в целом или оценить детали.Таблица даже немного интерактивная — можно навести мышь на ячейку, и выскочит окошко с картинкой-примером. Она довольно старая — аж из 2007 года — но актуальность не потер…

Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n_failed int, fail_perc as (n_failed*100.0 / n_total));Другой распространенный сценарий — вытащить поле JSON-документа в отдельный столбец, и при необходимости проиндексировать его:create table events ( id integer primary key, event blob, etime text as (event ->> 'time'), etype text as (event ->> 'type'));create index events_time on events(etime);insert into events(event) values('{"time": "2024-05-01", "type": "credit"}'),('{"time": "2024-05-0…

Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют ее «джаваскриптом в мире СУБД»). Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же. Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:create table people ( id integer primary key, name text, salary real) strict;Они проверяют ти…

SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql

Побег из карантина macOS и точный путь к расширениюСвежий релиз sqlpkg принес две приятные фичи:— Команда install автоматически убирает расширение из карантина macOS, чтобы можно было использовать без дополнительных приседаний.— Команда which печатает точный путь к установленному расширению, чтобы было проще загрузить его в SQLite.https://github.com/nalgeon/sqlpkg-cli/releases/0.2.0

🔥 Как эффективно использовать явный и неявный фидбек в рекомендательных системах? Расскажет опытный эксперт на открытом практическом уроке от OTUS, где вы: — познакомитесь с двумя типами фидбека от пользователя: явным и неявным; — обучите рекомендательные модели на разных типах фидбека; — сравните их качество. 📌 Вебинар будет полезен дата-сайентистам и ML-спецам, которые хотят расширить область знаний и технологический стек. Встречаемся 23 мая в 20:00 мск в преддверии старта курса «Machine Learning. Professional». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджера OTUS! 💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: h…

Стартовал набор в Академию Аналитиков Авито.Это бесплатный образовательный онлайн-курс с практикой в реальном бигтехе. Традиционно в Академии два направления: аналитик данных и DS-инженер. Выбери, что ближе тебе, познакомься с требованиями к поступлению, программой и преподавателями на странице Академии. И спеши подать заявку!

🟢 Откройте дополнительные возможности DVC — фичи для ML и Data Science Приходите на открытый практический урок от OTUS и узнайте: — как использовать DVC для версионирования данных; — как обеспечить совместный доступ к данным через S3; — как версионировать модели и хранить артефакты в DVC; — когда лучше подойдет DVC, а когда MLFlow; — как сделать воспроизводимое обучение моделей. ⚠️ Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences и опытный руководитель команд. Встречаемся 22 мая в 20:00 мск в преддверии старта курса «MLOps». Все участники вебинара получат специальную цену на обучение! 👉 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://clck.ru/3AdUYd…

16–17 мая ВСК проводит One Day Offer. Если ты разработчик или системный аналитик уровня middle и выше, регистрируйся https://onedayoffer.vsk.ru до 15:00 15 мая.Пройди онлайн-собеседование в компании из золотого рейтинга Forbes и получи офер в тот же день. Выбирай сам формат будущей работы и пользуйся ДМС с первого дня.Создавай лучшие InsurTech-продукты страны в одной из наших Agile-команд.

🔥 Хотите эффективно обеспечивать версионирование данных и моделей? Освойте систему DVC на открытом практическом уроке от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences и опытный руководитель команд. 💻 На вебинаре вы: - научитесь настраивать в git репозитории DVC и хранить артефакты на S3; - переключаться между версиями артефактов и загружать их во внешнее хранилище; - создавать воспроизводимые конвейеры обучения моделей с помощью DVC Pipelines. Встречаемся 14 мая в 20:00 мск в преддверии старта курса «MLOps». ⚡️ Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://clck.ru/3AWBqsРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus…

Это очень вдохновляюще. Выход из рутины, работа на вечные ценности, вот это всё https://vc.ru/design/112303-veb-dizayner-prevrashchaet-starinnye-knigi-i-broshyury-19-veka-v-interaktivnye-saytyvia

💡Интересуетесь Data Science? Изучите гибридные рекомендательные системы на примере LightFM.Познакомьтесь с коллаборативной фильтрацией и контентным подходом в рекомендательных системах, научитесь объединять их при помощи модели LightFM. 📚И все это под руководством опытного эксперта на открытом практическом уроке от OTUS, где вы:- познакомитесь с двумя подходами к построению рекомендательных систем: collaborative filtering и content-based;- изучите архитектуру модели LightFM, которая позволяет объединять эти подходы;- примените модели LightFM на практике. 📌Встречаемся 7 мая в 20:00 мск в преддверии старта курса «Рекомендательные системы». Все участники вебинара получат специальную цену на об…

🤖 Как строятся прогнозы в Machine Learning? Начните с открытого практического урока от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences, опытный руководитель команд. 💻 На вебинаре разберем: - как подходить к моделированию временных рядов; - как разбить их на тренировочную и тестовую части и проводить кросс-валидацию; - как разложить временной ряд на основные компоненты и построить авторегрессионную модель ARIMA/SARIMA; - метрики качества, специфичные для моделей временных рядов. 👉 Встречаемся 7 мая в 20:00 мск в преддверии старта курса «Machine Learning. Professional». 💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://clck.ru/3APQ5SРеклама. О…

Как прокачать навыки A/B-тестирования? Если уже владеете инструментами, то только через опыт и нестандартные задачи. В процессе работы скилл вырастет, но есть вероятность наделать ошибок. Ещё одна опция — пройти «Симулятор A/B-тестов» от karpov.courses под руководством экспертов сферы. На нём вы будете решать как типовые, так и нестандартные задачи, чтобы набить руку и увереннее действовать в работе. По итогам курса вы: — Освоите полный пайплайн A/B-тестирования;— Научитесь разрабатывать оптимальный дизайн онлайн и офлайн экспериментов;— Разберётесь, как проверять гипотезы со сложными метриками, для которых стандартные тесты не работают;— Сможете применить современные методы повышения чувст…

Где взять опыт?За время работы в эдтехе, я пообщался с многими нанимающими менеджерами (лидами, хэдами, CDO) и часто слышу про то, что ищут аналитиков, обладающих определенным складом ума, который ориентирован не только на решение чисто технических задач, но и направленный на понимание бизнеса как сложной динамически-неупорядоченной системы, производящей бизнес-решения, которые в свою очередь генерируют прибыль.Многие задумываются о переходе в аналитику, но не знают с чего начать. Обучение на курсах – отличный способ прокачать свои скиллы. Но также важно получить реальный опыт работы над бизнес-задачами. Именно реальный опыт позволяет приобрести навыки понимания сложного контекста организац…

От создателей Академии Аналитиков Авито — открытый курс по прикладной статистике. Бесплатно, без регистрации и смс. Для тех, кто хочет научиться: – применять критерии Манна-Уитни, t-test, бутстрап, хи-квадрат;– использовать специализированные библиотеки Python;– разрешать спорные ситуации при анализе данных.– экспериментировать, выводить критерии, доказывать формулы. Уроки построены на примере реальных данных и показывают, как решаются задачи бизнеса с применением прикладной статистики. Рекомендуем.

🌐 Как с помощью искусственного интеллекта автоматизировать и упростить поиск работы в ИТ уже сегодня?Продолжаем серию полезных вебинаров для поиска работы в ИТ. В этот раз мы проведем мастер-класс, на котором покажем все самые полезные возможности использования ChatGPT при поиске работы.🔎 Наш сегодняшний эксперт, Мария Мамкина, Senior Product Manager с 9-летним международным опытом в IT. Автор Telegram канала (Mamkina_Tech) про продуктовый менеджмент и подготовку к собеседованиям в IT. На мастер классе вы узнаете как писать качественные промты в ChatGPT, которые помогут вам:🔵преобразовать обязанности из вашего резюме в достижения🔵адаптировать резюме под конкретную вакансию 🔵быстро и правиль…

Хотите использовать машинное обучение в бизнес-целях?На бесплатной конференции «OTUS CONF: Machine Learning» мы поговорим о трёх важных элементах машинного обучения. Обсудим генеративные модели нейросетей, модели обработки естественного языка и обработку временных рядов.На конференции выступят дата-сайентисты из крупных компаний: кандидаты технических, физико-математических и экономических наук.Вы узнаете:▫️Как современные генеративные модели применяют в бизнесе, и что «под капотом» нейросетей типа GPT▫️С какими ошибками вы можете столкнуться при обработке временных рядов и какие решения применять▫️Как бизнесу применять NLP-модели семейства BERT▫️Как собирать данные, чтобы дообучить NLP-мод…

😎 Публичный Гайд по повышению BI Adoption перевел в более читабельный PDF формат ☝️Размышлял над темой год и пора упаковать и переключится. Еще родился шаблон для воркшопа, чтоб самим провести анализ в команде. Кому эта тема интересна пишите и приходите на курс по BI стратегии в мае.Там это все обсудится и пошарится

📊 Хотите углубиться в Machine Learning или Data Science? Начните с изучения базовых методов парсинга и работы с html! Приходите на бесплатный практический урок от OTUS. Спикер Мария Тихонова — PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. 💻 На вебинаре вы: — освоите основные принципы работы c html в Python; — изучите основные инструменты парсинга; — научитесь скачивать различные типы данных с сайтов на сайты. 👉 Встречаемся 22 апреля в 18:00 мск в рамках курса «Machine Learning. Professional». Все участники вебинара получат специальную цену на обучение и консультацию от менеджеров OTUS! 🟢 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: ht…

Пятничный юмор!Не постил ничего почти месяц. А вас стало только больше 😱Пора возвращаться в ритм.@ohmydataengineer

Коллеги делятся прекрасным из IL рынка бихдаты!@ohmydataengineer

https://medium.com/intuit-engineering/how-intuit-data-analysts-write-sql-2x-faster-with-internal-genai-tool-c3b9d482208aВ продолжении прошлого пятничного мема, количество платформ и сервисов, которые за денюжку, подключиться к DWH и делать там запросики - увеличилось в 10 раз. И стоит это много, а вот поднять простенький https://huggingface.co/tsdocode/text-to-sql и натравить на мету - не, спасибо.В статье, кстати, описан второй подход и оч даже хорошие результаты.@ohmydataengineer

Тема недели в #it_memes

Очень долго смеялся и плакал 😳(ибо это все до боли знакомо)

https://www.astronomer.io/state-of-airflow/Астрономер выкатил репорт про текущее состояние Airflow. Если кратко - все хорошо у него, по скорость развития и контрибьюшенов опережает Spark и Kafka.Ссылку сначала увидел у @dataexplorers, а потом у себя в почте.@ohmydataengineer

https://clickhouse.com/blog/building-a-logging-platform-with-clickhouse-and-saving-millions-over-datadogЗанимательное чтиво про Кликхаус и как он используется для логов. Мяготка, с деталями и схемами.Не без налета саморекламы, конечно 😂@ohmydataengineer

https://mattturck.com/landscape/mad2024.pdfСтабильный гость этого канала - MAD 2024 - Machine Learning, AI & Data Landscape. @ohmydataengineer

https://boehs.org/node/everything-i-know-about-the-xz-backdoorВсю прошлую неделю (и скорее всего, текущую тоже), Tech часть интернета будет бухтеть про XZ уязвимость, или, как ее прозвали "Бекдор для всего интернета". 2 года подготовки и ребятам почти удалось, но один из специалистов заметил проблемки с перформансом ssh (работал на 500 ms дольше), пошел разбираться и наткнулся на очень много интересного.@ohmydataengineer

Пятничный юмор или как совет директоров попросил AI внедрить 😂 (true story)@ohmydataengineer

https://www.youtube.com/watch?v=QSui0KQ2rE4Пока гуглил по платформы для A/B тестов, наткнулся на вот такой хороший доклад от ребят из Flo про их Data Platform.Оказалось оч полезно и ознакомительно@ohmydataengineer

Нас скоро всех заменят 😄https://twitter.com/raunakdoesdev/status/1769066769786757375Если вы не поняли из скриншотов, Steven дал доступ к своему аккаунту софтинке по имени Devin (отсюда игра слов Steven + Devin -> Deven) и та успешна пофиксила баг, при этом после прочтения документации задала дополнительный вопрос поддержке =) Про Devin интернет трещит уже неделю - https://www.cognition-labs.com/introducing-devin@ohmydataengineer(p.s. напомнило последний сезон The Silicon Valley и бота Гилфойла)(p.s. 2: советую посмотреть вот это видео если вы вдруг начали переживать https://www.youtube.com/watch?v=80MPXoRHvK8 по этому поводу)

https://www.figma.com/blog/how-figmas-databases-team-lived-to-tell-the-scaleОчень удивительная история из технического блога Figma о том, как они скалировали свои базы данных. Поправочка: до 2020 у них был один инстанс Postgres вообще! 😳 Шардинг, партишенинг, вот это вся мяготка тут.@ohmydataengineer

💰Результаты опроса про зарплатуЗакончили с Арсеном обработку данных и дашборд по результатам опроса аналитиков. Мне нравится что получилось. Опрос прошли 323 человека, этого достаточно, чтобы накопать интересных фактов и оценить разницу доходов между разными уровнями должностей и направлениями.Вот, что я заметил:— 66% процентов опрошенных довольны или скорее довольны своей зарплатой, но при этом все опрошенные хотели бы получать примерно на 50 тысяч больше в независимости от своей удовлетворенности. — Для аналитиков данных каждый следующий уровень (Junior → Middle → Senior → Team lead) приносит по 100К дополнительного чистого дохода начиная с зп в 106К для Junior специалиста.— С количеством…

Data Apps Design pinned «Блог переехал 🌐 @data_apps»

Блог переехал 🌐 @data_apps

Channel name was changed to «Data Apps Design»

Channel name was changed to «data_apps»

✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекватно время ответа на запросы (от простых select * from table limit 10 до сложных дашбордов)🔵Feature support— Поддержка semi-structured data (nested JSONs, MongoDB, event tracking)— Geospatial: GEO-joins (ST_Intersects), H3 library for geo-indexing— Адекватная поддержка Window functions (+ Qualify)— Простое создание окружений (Zero copy clone - DEV, TEST sandboxes)— Time travel, restore deleted data (UNDROP)🔵Security— PRIVILEGES management (r…

Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢 Возможность предлагать и оценивать альтернативные СУБД для решения задач бизнесаОбъективно, в заданных условиях, некоторые СУБД способны справляться значительно лучше других. Иначе говоря, имеют конкурентные преимущества.К сожалению, во многих случаях решение о том, какую СУБД использовать уже принято и не подлежит пересмотру: кем-то когда-то давно до вас по принципу "я работал с этим 5 лет назад", "у нас с ними партнерские отношения", "в…

👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуальны на каждую отдельную дату (курс меняется)⬜️ Реализация:— Используется поставщик данных и его API (для примера это Open Exchange Rates)— Ежедневно несколько раз в течение дня (раз в 3 часа) делаются запросы на получение обменных курсов к каждой из 15 валют (Airflow)— Ответы в виде JSON сохраняются AS IS в S3 / Object storage— Эти файлы читаются на стороне DWH и формируется витрина обменных курсов (пар) в разрезе базовой валюты и даты⬜️ К…

Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуален🔸 Основные возможности (features) BI— Семантическая модель: сущности, связи, формулы расчета метрик и правила агрегации— Визуальный конструктор запросов— Формирование информационных панелей (dashboards)— Публикация (sharing), рассылки, уведомления и алерты🔸 Варианты развертывания— SaaS / Managed app (Datalens)— Self-hosted (Metabase)— Hybrid (Superset / Preset)🔸 Администрирование— Production checklist (отказоустойчивость, надежность, мас…

🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис, с какими квотами и услугами необходим для решения задач.Дальнейшие шаги - переговоры, бумажные (электронные) процессы, согласования, подписания, оплаты, инвойсинг, юридические проверки и т.д. - это не относится к инженерной работе, этим должны заниматься все, кроме инженера.🔻 Взаимодействие с пользователями, которым леньКоманда аналитики делает всё, чтобы пользователям было просто и удобно находить ответы на свои вопросы:— Self-service BI…

😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt), и проблемам с отчетностью (Looker). Ряд самых важных дашбордов перестал работать (пусто, либо ERROR SQL Query). Бизнес-пользователи сообщают о проблемах и ждут исправления.Я потратил около 4-5 часов на поиск и локализацию проблемы, её исправление (rollback, upgrade, чуть не дошло до restore from backup) и проверки (что-то продолжаю делать и сейчас).В это время команда из 6 человек (Finance & Accounting) пишет письма с просьбой найти и высл…

🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных игроков на рынке в поисках подходящего решения.В финале оказались Hevo и Fivetran. Hevo победил по ряду критериев, в том числе по стоимости (total cost of ownership).Коротко, мой сетап:— 1 Destination connector (sync каждые 15 минут)— 10 Source connectors (самые важные: MongoDB, Postgres, Event stream)— 500M events / monthНачиная с 2020 года стоимость сервиса составляла $12K в год с платежами раз в квартал. На мой взгляд, это отличная сто…

🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизироваться на YouTube с онлайн-стримами по интересным темам и короткими кастами— Систематизировать накопленные в канале знания, добавить навигацию и хэштеги— Писать review на новые (и не очень) книги, интернет-публикации и самые интересные Data-события— Запустить email-рассылкуЖелаю всем уютно отметить в кругу близких и друзей, помечтать как следует, и полными сил вступить в новое путешествие в наступающем году! 🥳До связи,Артемий🥳🥳🥳

Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересные визуализации• @dbt_users — DBT users group• @enthusiastech — Analytics Engineering + tips & tricks• @ohmydataengineer — Авторский канал обо всем, что происходит в мире работы с данными• @ruairflow — Русскоязычное сообщество Apache AirflowДобавить как папку в Telegram https://t.me/addlist/B5NbcluX5AJiMTFi

👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analysis, строить дашборды, обучать ML-модели. Удобно пользоваться Sample Tutorials от вендоров и тулов. Awesome Public Datasets, Kaggle, Metabase Sample Database, и даже AdventureWorks - это всё примеры статики.Но ряд задач можно изучать и решать только на динамическом датасете, т.е. тех данных, с которыми происходят мутации в режиме реального времени - INSERT, UPDATE, DELETE:— Online data replication (Change Data Capture)— Streaming tasks: Ana…

☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам на свои вопросы— Единая связная история-кейс (заказчик - требования - архитектура - реализация)— Формат интенсива - сразу к делу, минимум воды, максимум практикиКакие результаты я получу?— Опыт построения аналитических приложений на реальном бизнес-кейсе— Практика с инструментами Modern Data Stack— Записи стримов, слайды, git-репозитории остаются у вас— Возможность претендовать на вакансии с ЗП 300К+Востребованные навыки и практические знания -…

🏌️ RAGоднажды в коменты пришёл читатель Семён и пошутил что-то про RAG. Я тогда ничего не понял, но на всякий случай молча кивнул типа «да-да, я в курсе! во дают!1»чтобы в следующий раз не попасть впросак, решил таки сделать домашку и погуглить что за зверь этот ваш раг. В интернетах нашёл красиво свёрстаное (аж захотелось купить что они там продают) и главное доступное объяснение:https://gradient.ai/blog/rag-101-for-enterprise⌘⌘⌘что нужно, чтобы сделать своего чатбота на ллм? помимо самой ллм, конечно.я так понял*, ллм из коробки будет знать много чего из общего мира, но конкретно про вашу специфику — неоч * для экономии места я не буду перед каждым абзацем вставлять «я так понял», но пред…

🤯 ChatGPT научилась смотреть, слушать и быстро отвечатьнахожусь под впечатлением от вчерашней презентации OpenAI — они показали новую модель, а ещё обновление приложения. теперь ChatGPT совсем даже не чат, а вполне себе собеседник: добавили возможность включать камеру в приложении и попросить описать что она видитпомимо новой модели выкатили десктопное приложение, которое тоже может смотреть экран — на демонстрации моделька рассматривала простенький график, нарисованный в юпитер-ноутбуке, интерпретировала увиденное и даже отвечала на простые вопросы по содержанию.показательно насколько снижение задержки ответа может менять восприятие. Согласитесь, что когда ассистент отвечает тебе через 2-3…

👨‍🔧 разобрался с Terraform спустя пару лет после моего первого знакомства с infrastructure-as-a-code наконец-то достался проект где можно попрактиковаться. ⌘⌘⌘ в Кларне всё на AWS, для управления архитектурой используют CloudFormation или Terraform; у…

👨‍🔧 разобрался с Terraformспустя пару лет после моего первого знакомства с infrastructure-as-a-code наконец-то достался проект где можно попрактиковаться.⌘⌘⌘в Кларне всё на AWS, для управления архитектурой используют CloudFormation или Terraform; у нас в команде — последний.почему вообще дата инженер занимается инфрой? в команде образовалось провал по компетенциям: есть несколько разрабов, пара аналитиков и менеджер, а вот деплоить инфру, получается, некому; сейчас приходиться закрывать техлиду на сдачу от других дел. Вызвался помочь с этим, потому что самому было интересно как это всё работает⌘⌘⌘за один проект удалось покопаться в разных инструментах AWS-стэка (+ DataDog для мониторинга):-…

🫧 big tech bubbleслушал подкаст с инженером из Убера, нашёл интересным несколько моментов:§ 1большие компании по мере свеого дикого роста сталкиваются с проблемами, с которыми до них никто не сталкивался. На рынке просто нет готовых решений для таких объёмов. И даже какие-то бест-практис ещё надо поискать, поэтому им приходится решать задачи самим.отсюда столько самописных решений от гугла, линкедина и прочих нетфликсов. Из кузен биг теха выходят в опенсорс новые базы данных, етл-движки и всякие би-ай инстрменты§ 2это одна из причин, почему такие инженеры ценятся на рынке — они повидали всякое: они умеют решать проблемы и работать руками. типа как в NASA — прокачивается навык решения задач …

🐘 Nimble Elephant — книга про паттерны моделирования данных в этот раз потребовалось даже меньше двух лет, чтобы прочитать купленную книгу!почему-то ожидал, что будет больше про аналитику, но оказалось в основном про большие энтерпрайз системы на сотни сущностей. Но в целом полезно; автор — консультант с большим стажем и технической насмотренностью, а ещё пишет просто и с юмором.⌘понравилась идея про дата паттерны: 50% ваших моделей — можно брать готовые из сборников; 30-40% — надо чуток подкрутить. А вот оставшиеся надо будет готовить с нуля — и вот на это уже уйдёт 80% от всего отведённого времени на проектирование.автор подробно разобрал паттерн Party/Role на примере базы данных для школ…

https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1кулстори из интернетов: как получить счёт в $1300 за первый день создания пустого приватного s3-бакета в AWSесли работаете с s3, то полезно понимать как верхнеуровнево оно работает, чтобы не получить такие сюрпизы в своём аккаунтев качестве повода размять мозги предлагаю сделать паузу и прикинуть как так могло случитьсяспойлер: нужно было всего лишь угадать правильное имя бакета! некая опенсорсная софтина имела дефолтную конфигурацию с бекапом на s3 точно с таким же именем бакета.имена бакетов находятся в eдином глобальном неймспейсе. т.е. они уникальны по всему миру, типа как урлы доменов …

📚 Practical Data Modelling pre-bookне теряю надежды вкатиться в Data Modelling и продолжаю активно следить за господином Joe Reis. ранее он объявил, что после соавторства книги Fundamentals of Data Engineering его следующей соло-книгой будет Practical Data Modelling (уже есть рисунок оглавления).в своей рассылке на substack он закидывает темы в читателей и проводит дискуссионные клубы на тему. Там же вышел черновик первой главы будущей книги — правда, за пейволом. так что делюсь с вами контентом конспектом контента аж за 600 рублейв качестве введения Джо предлагает договориться о терминах и приводит цитаты других, начиная с книги 1967 года > A data model organizes and standardizes data in a…

🏆 что мне нравится в проекте с авиа-трейсами adsb.exposedв дополнение к вчерашним картинкам и голой ссылке хочу подробнее рассказать чем именно меня привлёк проект Миловидова⌘ во-первых, как увлечённый дата-инженер я радуюсь каждому проекту, где-то как-то вовлечены данные и потом с ними происходит что-то интересное. Всегда хотел замутить что-то своё, но всё никак не нашёл подходящего повода и времени (а вот фаундер международной компании таки нашёл, хе-хе!) ⌘ во-вторых, видно инженерное мастерство как таковое: у проекта предельно простая инфраструктура. Нет тебе ни редисов с кешами, ни гео-балансеров, ни хитрого фронтенда с отдельным бэкендом — всё работает прямо в браузере.если я правильно…

примеры того что получается в итоге

🛫 визуализация полётов на Кликхаусе 🛬Алексей Миловидов собрал красивый демо-проект, чтобы показать как Кликхас могёт ворочать миллиарды записей (это в день). Получилось похоже на flightradar, только без самолётиков — только трейсы. Можно выбирать что показать, крутить карту как обычно и даже писать кастомные запросы.всё работает на чистом html поверх кликхауса в их облаке. В статье подробный рассказ что под капотом: js-функции, ddl таблиц и вьюх, sql-запросы с сайта.Статья https://clickhouse.com/blog/interactive-visualization-analytics-adsb-flight-data-with-clickhouseСайт https://adsb.exposed/Исходники https://github.com/ClickHouse/adsb.exposedИсточники данных: 1. https://www.adsb.lol/ 2. h…

и следом ютуб-фид мне выдал релевантный доклад с AWS re:Invent «как не терять данные в стриминге»Рассказывает AWS Hero из консалтинга, т.е. она насмотрелась за свою карьеру на разные aws-архитектуры.доклад понравился тем, что он практико-ориентированный: на примере одного проекта разобрали основные ошибки и как тихо не терять данные. При этом советы были простые, но действенные — на уровне вызываемых функций и их параметров. И всё это относиться не только в AWS или Kinesis, ведь терять данные можно в любом инструменте. ⌘⌘⌘ кейс начинается с того, что при простом паблише и консьюме из Kinesis Streams они заметили недостачу данных. И дальше по цепочке разбирали кейсы, которые они обнаружили (…

открываю для себя семейство продуктов Kinesis от AWS. Всё вместе оно решает дата-стриминговые задачи, но чисто по названиям не понять чем Streams отличаются от Analytics и зачем там ещё Firehose.посмотрев три обзора на ютубе, ответственно заявляю вот что я узнал:🟣 Kinesis Streams — типа топиков Кафки. Можно несколько консьюмеров на топик, есть ретеншен полиси для записей внутри — т.е. чтение на консьюмере управляется офсетом.🟣 Kinesis Firehose — по сути коннектор, можно туда паблишить евенты и оно из коробки может писать во все основные тулзы AWS. Нельзя много консьюмеров.🟣 Kinesis Analytics — под капотом это Managed Flink (почему нельзя было так назвать сразу?). Умеет в разные стрим-трансф…

Summary

Artificial intelligence has dominated the headlines for several months due to the successes of large language models. This has prompted numerous debates about the possibility of, and timeline for, artificial general intelligence (AGI). Peter Voss has dedicated decades of his life to the pursuit of truly intelligent software through the approach of cognitive AI. In this episode he explains his approach to building AI in a more human-like fashion and the emphasis on learning rather than statistical prediction.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and d…

Summary

Generative AI promises to accelerate the productivity of human collaborators. Currently the primary way of working with these tools is through a conversational prompt, which is often cumbersome and unwieldy. In order to simplify the integration of AI capabilities into developer workflows Tsavo Knott helped create Pieces, a powerful collection of tools that complements the tools that developers already use. In this episode he explains the data collection and preparation process, the collection of model types and sizes that work together to power the experience, and how to incorporate it into your workflow to act as a second brain.

Announcements

Hello and welcome to the Data Engineeri…

Summary

Generative AI has rapidly transformed everything in the technology sector. When Andrew Lee started work on Shortwave he was focused on making email more productive. When AI started gaining adoption he realized that he had even more potential for a transformative experience. In this episode he shares the technical challenges that he and his team have overcome in integrating AI into their product, as well as the benefits and features that it provides to their customers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, clou…

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

Summary

A core differentiator of Dagster in the ecosystem of data orchestration is their focus on software defined assets as a means of building declarative workflows. With their launch of Dagster+ as the redesigned commercial companion to the open source project they are investing in that capability with a suite of new features. In this episode Pete Hunt, CEO of Dagster labs, outlines these new capabilities, how they reduce the burden on data teams, and the increased collaboration that they enable across teams and business units.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data …

Summary

A significant portion of data workflows involve storing and processing information in database engines. Validating that the information is stored and processed correctly can be complex and time-consuming, especially when the source and destination speak different dialects of SQL. In this episode Gleb Mezhanskiy, founder and CEO of Datafold, discusses the different error conditions and solutions that you need to know about to ensure the accuracy of your data.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, cloud-native o…

Summary

Data lakehouse architectures are gaining popularity due to the flexibility and cost effectiveness that they offer. The link that bridges the gap between data lake and warehouse capabilities is the catalog. The primary purpose of the catalog is to inform the query engine of what data exists and where, but the Nessie project aims to go beyond that simple utility. In this episode Alex Merced explains how the branching and merging functionality in Nessie allows you to use the same versioning semantics for your data lakehouse that you are used to from Git.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach …

Summary

Artificial intelligence technologies promise to revolutionize business and produce new sources of value. In order to make those promises a reality there is a substantial amount of strategy and investment required. Colleen Tartow has worked across all stages of the data lifecycle, and in this episode she shares her hard-earned wisdom about how to conduct an AI program for your organization.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, cloud-native orchestrator for the whole development lifecycle, with integrated linea…

Summary

Building a database engine requires a substantial amount of engineering effort and time investment. Over the decades of research and development into building these software systems there are a number of common components that are shared across implementations. When Paul Dix decided to re-write the InfluxDB engine he found the Apache Arrow ecosystem ready and waiting with useful building blocks to accelerate the process. In this episode he explains how he used the combination of Apache Arrow, Flight, Datafusion, and Parquet to lay the foundation of the newest version of his time-series database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern d…

Summary

A data lakehouse is intended to combine the benefits of data lakes (cost effective, scalable storage and compute) and data warehouses (user friendly SQL interface). Multiple open source projects and vendors have been working together to make this vision a reality. In this episode Dain Sundstrom, CTO of Starburst, explains how the combination of the Trino query engine and the Iceberg table format offer the ease of use and execution speed of data warehouses with the infinite storage and scalability of data lakes.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms an…

Summary

Sharing data is a simple concept, but complicated to implement well. There are numerous business rules and regulatory concerns that need to be applied. There are also numerous technical considerations to be made, particularly if the producer and consumer of the data aren't using the same platforms. In this episode Andrew Jefferson explains the complexities of building a robust system for data sharing, the techno-social considerations, and how the Bobsled platform that he is building aims to simplify the process.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to b…

Summary

Stream processing systems have long been built with a code-first design, adding SQL as a layer on top of the existing framework. RisingWave is a database engine that was created specifically for stream processing, with S3 as the storage layer. In this episode Yingjun Wu explains how it is architected to power analytical workflows on continuous data flows, and the challenges of making it responsive and scalable.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst powers petabyte-scale SQL analyt…

30 января все сайты с доменом .ru и некоторые приложения на несколько часов перестали открываться. Пользователи стали переживать, что интернет в России отключают. На самом деле случился сбой в протоколе DNS. В этом эпизоде разбираемся, как этот протокол устроен и какая ошибка привела к падению Рунета.Эпизод про шифрование: https://pc.st/e/4Hy~u9W_OixРекомендации от гостя: 1. Книга «DNS and BIND», авторы Cricket Liu and Paul Albitz2. Блог CloudFlare, статья про DNS https://www.cloudflare.com/en-gb/learning/dns/what-is-dns/3. Курсы компании ICANN https://www.icann.org/en/beginnersСлушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0…

Как скачать из интернета фильм, музыку или программу, минуя единый сервер? Что сделало пиратов народными героями и почему невежливо уходить с раздачи? Этот выпуск — о протоколе BitTorrent. О том, как он озолотил своего создателя, снова разозлил Голливуд и стал окном в мир массовой культуры для миллионов людей. Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjeJsoGcКурсы английского для работы в IT от Практикума:https://clck.ru/38QNxFАвтор сценария: Валерия ЖитковаРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паша БоровковЗвукорежиссер: Юрий ШустицкийСаунддизайнер: Леша Воробьев

«Будь проще и люди к тебе потянутся» — девиз формата gif. Он действительно прост и не меняется последние 30 лет. Как раз за это его все и любят. Гифка - это больше чем формат: это идея. Это способ упаковать многое в малом. Это память о временах раннего интернета. Это инструмент цифрового художника, но самое главное - это оптимальный способ показать другому человеку в интернете самые тонкие нюансы наших эмоций. В этом выпуске разбираемся, за что интернет полюбил формат gif.erid: 2SDnjf3ZJ4GКурс «Продвинутый Go‑разработчик»: https://clck.ru/37psA2Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033Авторы сценария: Иван Грабарник и Евгения Щербина. Редактор: Евгения ЩербинаПро…

Гнусавый перевод голливудских боевиков, домашний архив с детскими стихами, прочитанными с табуретки, и доступное порно — всё это стало возможным благодаря форматам VHS и DVD. Сначала кассеты, а потом диски принесли видео в каждую гостиную, заполнили наши серванты и — ушли в прошлое под натиском цифровой революции. Или не совсем? В этом выпуске Самат Галимов рассказывает об истории видеореволюции, которую устроили VHS и DVD, и очень много ностальгирует.Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjckdd4LКурсы английского для работы в IT от Практикума:https://clck.ru/37jsSPАвтор сценария: Валерия ЖитковаРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паш…

Почему нельзя просто взять и распечатать любой документ на принтере? Где хранить цифровую память человечества? Как излечить головную боль и художников с дизайнерами, и американской налоговой службы? В этом выпуске Самат Галимов рассказывает, как из попыток ответить на эти вопросы родился один из самых надежных и долговечных форматов электронных документов - PDFРеклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjeKAEaCКурс «Инженер данных» в Практикуме:https://clck.ru/37JGtnАвтор сценария: Иван ГрабарникРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паша БоровковЗвукорежиссер: Юрий ШустицкийСаунддизайнер: Леша Воробьев

30 лет назад, чтобы послушать любимую песню, нужно было пойти в магазин, отстоять очередь и купить дорогой диск, на который умещалось всего девять композиций. Всё изменил один немецкий ученый, который придумал революционную технологию сжатия звука. Благодаря ей диски стали не нужны - теперь всю музыку мира можно было бесплатно слушать с компьютера, а потом и положить в карман. Новая технология чуть не разорила лейблы и развязала самую кровавую войну в интернете — войну авторов контента с пиратами. В этом выпуске Самат Галимов разбирается в истории создания самого популярного аудиоформата в мире — mp3. Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjckUYJ4Узн…

Вы помните ваш ник в аське? А каким был первый русскоязычный блог? Или, может, когда вы родились, интернет уже был привычной частью жизни? Мы записали новогодний спешл о том, как в России появился интернет, что менялось в нем со временем и как он стал для нас таким важным. Герой этого выпуска — Дмитрий Морозовский — человек, который всю жизнь занимается развитием рунета. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Подарочные сертификаты Практикума: https://clck.ru/37GttY Материалы из выпуска: Первый выпуск «Вечернего интернета» Антона Носика: https://web.archive.org/web/20190507075313/http://gagin.ru/vi/24dec1996.htm Выпуск «Газеты.ру» 1999 года: https://web.archive…

Вастрик уже больше 10 лет ведет блог для технарей — понятно и с мемами рассказывает о квантовом компьютере, вычислительной фотографии, Вебе 3.0 и других сложных технических штуках. Самат Галимов расспросил его, с чего начался один из самых популярных блогов про технологии в российском интернете, чем погружение в сообщество похоже на знакомство в баре, как избавиться от хейтеров и создать здоровую обстановку в блоге и сколько можно зарабатывать на всём этом. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Подарочные сертификаты Практикума: https://clck.ru/37DT9U В выпуске мы упоминали: Выпуск про квантовые вычисления https://pc.st/e/7ByFIcwxgcv Пост Вастрика про переезд …

Вы наверняка замечали, что от сервисов бывает очень сложно отписаться. Это не случайность: компании борются за ваши клики и деньги и используют для этого вводящие в заблуждение (а иногда и откровенно незаконные) приемы. В этом выпуске Самат Галимов говорит о темных паттернах с CPO «VK знакомств» Игорем Кузнецовым и разбирается, с какими манипуляциями мы сталкиваемся чаще всего, почему они работают и как от них защититься. Телеграм-канал Игоря Кузнецова https://t.me/brainshare Рекомендации от Игоря: Книга Deceptive Patterns: Exposing the Tricks Tech Companies Use to Control You by Harry Brignull Сайт https://www.deceptive.design/ Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704…

Как рынок IT пережил 2023 год? Что ждет нас в 2024? Как IT-специалистам искать работу прямо сейчас? Самат Галимов поговорит об этом с Кирой Кузьменко — карьерным консультантом и ведущей подкаста «Собес». 12 декабря в 20:00 по Москве подключайтесь к трансляции в закрытом телеграм-канале Либо/Либо: https://cutt.ly/zap1212liveeptg Вы сможете не только послушать разговор, но и задать свои вопросы, так что не забудьте их подготовить. До встречи!

Язык Kotlin, платформа Space, среда разработки Fleet — все эти популярные инструменты сделали в JetBrains. Как появилась компания, изменившая работу программистов по всему миру? Почему первый продукт JetBrains не был самостоятельным? И как компания все время соревнуется с бесплатными продуктами? Самат Галимов говорит с генеральным директором JetBrains Максимом Шафировым. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Базовый курс Go от Практикума: https://clck.ru/36wNWp И продвинутый курс: https://clck.ru/36t9MP Самат Галимов вместе с ведущей подкаста «СОБЕС» Кирой Кузьменко проведут трансляцию для подписчков закрытого телеграм-канала студии «Либо/Либо». Они будут гово…

Самат с бизнес-партнером Федором Борщевым — сооснователи небольшой студии аутсорс-разработки «Федя и Самат». Когда ребята только начинали, в их компании было всего два человека (угадайте их имена). Прошло почти 4 года, и команда закономерно выросла. В этом эпизоде предприниматели рассказывают, как менялись их представления о работе и почему им по-прежнему не подходят 90% программистов на рынке, а еще делятся своими best practices ведения бизнеса. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «Алгоритмы и структуры данных»: https://clck.ru/36pnri Ссылки, о которых мы говорили в этом эпизоде: Выпуск о создании компании: https://zapuskzavtra.libsyn.com/jc8vp34sqnls …

10 лет назад гость сегодняшнего эпизода построил у себя на заднем дворе в Миннесоте замок из бетона. Точнее распечатал 3D-принтером, который сам же и изобрел. Тогда об этом написали многие американские медиа, а Андрей Руденко на время стал знаменитостью. Самат Галимов позвал Андрея в подкаст и расспросил, как он делает свои принтеры и строит на этом бизнес. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 erid: 2SDnjc1jxba Курсы Практикума для разработчиков и тестировщиков: https://clck.ru/36jJ7q Репортаж о замке Андрея Руденко: https://youtu.be/DQ5Elbvvr1M?si=C4R6mCgdLmTzJe7h Подкаст «Собес» https://bit.ly/3sMjtf3 Чат Запуска в телеграме: https://t.me/zapuskzavtra Связа…

Что общего у разработки видеоигр и создания домов, персонажей и историй в игре The Sims? Денис Ишмухаметов — программист графики в компании Wargaming, которая выпустила, например, игру World of Tanks. Самат Галимов расспросил Дениса, как устроен процесс разработки, зачем нужен игровой движок, что он умеет и какие с ним бывают сложности. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Промокод на скидку 20% на все курсы Практикума в Черную Пятницу: https://clck.ru/36ZxQg Выпуск про компьютерную графику: https://pc.st/e/6~lAhBor-PC Денис советует книги: Game Engine Architecture by Jason Gregory Real-Time Rendering by Eric Haines, Tomas Möller, Naty Hoffman И YouTube: http…

Вы точно хоть раз оказывались на странице, созданной с помощью Tilda или Readymag. Эти сервисы позволяют сверстать сайт без программирования всего за несколько кликов. Как это возможно? Насколько качественными получаются такие продукты? А можно сделать не сайт, а что-то сложнее? Программисты больше не нужны? Обо всем этом Самат Галимов спрашивает технического директора компании Readymag Антона Васина. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «DevOps для эксплуатации и разработки»: https://clck.ru/36HZHm Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap10epap или в закрытом тг-канале Либо/Либо https:…

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Валентин Домбровский Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Pydantic запустили бета-версию Longfire

Łukasz научил GitHub собрать CPyhon из исходников

PyPI is expanding Trusted Publisher Support Релиз ruff 0.4.0 New Open Initiative for Cybersecurity Standards Ubuntu 24.04 LTS

PEP-744 Jit Compilation

Студенческие задания в Open source Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: релиз ruff 0.3.0

style czar или попытка привести языки к одному стилю

Gemini Pro объявила кеширование «риском безопасности»

Cloudflare запустили поддержку python в cloud-workers-ах

как за год изменилось состояние Web Assembly в Python

в pypi завезли возможность репортить malware-пакеты закончилось большое обсуждение lock-файлов от Brett Canon вышел DRF 3.15 почти через 2 года после пердыдущей версии Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https:/…

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Тул для работы с зависимостями для Python — `uv`

PEP 740 — возможность добавление работы с цифорвыми подписями для реестров пакетов типа PyPI Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки Никиты: GitHub — github.com/sobolevn Youtube — @sobolevn

Ведущие — Михаил Корнеев и Григорий Петров

В этом выпуске обсудили самые интересные и запомнившиеся новости последних двух месяцев. Ниже собрали ссылки на все новости:

JIT-компиляция в Python 3.13

Jetbrains выпустили отчет State of Developer Ecosystem 2023

Python Packaging, One Year Later: A Look Back at 2023 in Python Packaging Самые популярные библиотеки 2023 Вышел Django 5.0 У PSF появился свой Community Communication Manager С 1 января для публикации на pypi должна быть настроена 2fa Why Python is terrible? Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуск…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров В этом выпуске обсудили самые интересные и запомнившиеся новости 2023 года Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Михаилом Вознесенским, руководителем группы разработки почтовых решений RuPost (входит в «Группу Астра») и обсудили следующие темы: какая часть кода используется для внешних API и для другого или насколько валидно писать комментарии для документации

«историю должен рассказывать сам код»

«если есть хороший docstring, то ide или настроенный редактор покажет развернутое описание аргументов»

от чего защищает линтер

голосовые сообщение, как коммент в коде

добавление метаинформации в код Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/trick…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Андреем Столбовским и обсудили следующие темы: что такое SDM?

Андрей о себе и чем занимается сейчас

как в больших компаниях строится мониторинг

почему большие компании вкладываются в команды и просто не поставят себе Sentry

особенность мониторинга в AWS

золотые сигналы

Sentry уже не очень

как правильно смотреть на дашборды

трейсинг

алерты

техники оптимизации и как сжать int в один бит Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.…

Новый выпуск посвятили актуальным новостям за ноябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Релиз Django Ninja 1.0

PEP 734 (сабинтерпретаторы в stdlib)

Nvidia показала cudf.pandas (GPU)

JetBrains запустил опрос Python-разработчиков

PyPI прошел первый аудит безопасности

Как много core-разработчиков Python использую аннотации типов Деприкейтится datetime.utcnow()

10 неприятных вещей в работе разработчиком Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Podlodka Python Crew — https://podlodka.io/pythoncrew

Промокод на конфу — MOS_PYTHON

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Tel…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Николаем Свиридовым и обсудили следующие темы: как из инженеров биомедицинского оборудования стать разработчиком

переходить ли в IT без подушки безопасности?

ситуационную работу мозга

роль IT-сообществ в развитии разработчика

сколько времени нужно, чтобы сделать крутой канал об IT

как завалить несколько испытательных сроков и всё равно войти в разработку

выбор тем для канала

общение с аудиторией

перспективы Django Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python …

Спонсор подкаста — https://learn.python.ru

Новый выпуск посвятили актуальным новостям за октябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Новости выпуска:

Первая бета Django 5.0 PEP 703 — опциональный GIL из коробки PEP 730 — добавить iOS в поддерживаемые платформы Отчет Security Developer-in-Residence за 3 квартал Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили со Станиславом Змиевым и обсудили следующие темы: Станислав про себя

pathlib.Path.walk в Python имплементация и верификация контрибьюторов

про разработку Open Source

сложно ли контрибьютить в Python начинающим разработчиком

чем занимаются в Monite

как прийти в Open Source и что даёт

рассказывает ли о своих проектах

насколько Open Source выгоден для карьеры

способы монетизации Open Source

отличается ли разработка платформенной инфраструктуры в финтехе

почему разработчиком не нравятся Type hints

что Стас думает о других языках программирования

идеальная траектория развития разработчика С…

Новый выпуск посвятили актуальным новостям за сентябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Релиз Python 3.12

Релиз Flask 3

Jetbrains выпустили Python Developers Survey 2022

Python-редактор в Microsoft Excel Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Качалка не только делает вас сильным, красивым и уверенным в себе, но еще и улучшает менталочку, и даже помогает бороться с раком! В этом выпуске мы посмотрели на силовые тренировки с позиций доказательного фитнеса, и под чутким взглядом опытного тренера Станислава Цаллагова разобрались, как подойти к составлению оптимальной программы тренировок. Сразу предупреждаем — выпуск получился настолько длинным и насыщенным, что мы решили разбить его на две части! 13 мая стартует сезон Podlodka Go Crew, посвященный работе с базами данных. Максимум практических советов по взаимодействию с Postgres, Redis, SQLite. Забирай скорее билет со скидкой в 500 рублей по промокоду FITNESS: https://podlodka.io/g…

На первый взгляд кажется, что SEO — это набор техник, который позволяет вашему сайту выглядеть лучше в глазах поисковиков, но это представление ошибочно. Андрей Мещанкин из Туту.ру рассказал о современном SEO, и почему сейчас выгоднее вкладывать средства в развитие сайта, чем в попытки обмануть поисковый движок. Насколько хорошо вы демонстрируете свои гибкие навыки на собеседованиях? Умеете в самопрезентацию и переговоры? В новом сезоне Podlodka Soft Skills погрузимся в процесс прохождения собеседований и научимся «продавать» свой опыт и скиллы. Встречаемся уже 13 мая. Спеши забрать билет со скидкой 500 рублей по промокоду SOFT_INTERVIEW: https://podlodka.io/softcrew Также ждем вас, ваши ла…

Рассказать хорошую историю – сложно. Сделать увлекательный геймплей – тоже сложно. Ну а сделать так, чтобы повествование и игровые механики друг друга органично дополняли – это уже другой уровень и работа для специально обученных людей! Разбираемся в теме с Альфиной, приложившей руку к таким шедеврам как Мор (Утопия) и Disco Elysium. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов

Инженерная культура компании пронизывает нашу работу от и до. Какими критериями бизнес руководствуется при найме и почему собеседования устроены именно так а не иначе? Сколько времени у вас уйдет на реализацию конкретной фичи, а сколько на обсуждения острых вопросов на архитектурном и код-ревью и нужны ли эти ревью вообще? Как принимаются решения о расширении тех. стека проекта? Что нужно сделать, чтобы получить повышение, и что такого натворить, чтобы вас уволили? Не смотря на то, что мы привыкли воспринимать FAANG компании в одну цельную группу, инженерная культура в них сильно отличается. В этом выпуске Алексей Козятинский (ex. Google, а сейчас senior staff SWE в Netflix) откровенно поде…

В выпуске мы придумали идеальное описание языка программирования Zig – это DSL для машинного кода. И за этим определением кроется куча интересных концепций, начиная от брутальной простоты в синтаксисе и фичах, заканчивая метапрограммированием, основанном на comptime вычислениях. Погружаться в все еще редкий, но уже не эзотерический язык нам помогал Алекс Кладов, который использует Zig в разработке настоящего продакшн проекта – базы данных TigerBeetle. Партнёр эпизода — IT-компания Selectel. Ребята создают облачные решения и предлагают в аренду серверы, которые размещают в своих дата-центрах в России. Нетривиальные задачи, опытные коллеги, доверие и поддержка – то, что ждет тебя в Selectel.

…

С Сашей Зиминым поговорили про его опыт работы и жизни в Британии. В начале как наемного сотрудника, а теперь уже как исключительного таланта. В релокационном выпуске традиционно прошлись по климату, бытовым вопросам, сложностям с подготовкой документов, поиском жилья и работы. Радует, что в этом выпуске Женя с Егором также не остались в стороне и поделились своим опытом. Хочешь научиться хитрым фишкам UI под iOS?

Ждем тебя 15-го апреля на iOS Podlodka Crew. Разберем нестандартный лейаут, эффекты на Metal, сложные анимации в SwiftUI, а также поговорим про оптимизацию.

По промокоду UI_MAGIC будет приятная скидка в 500р. Не пропусти сезон! Забирай билет на https://podlodka.io/ioscrew Также жд…

В некоторых выпусках мы уже обсуждали, как работы ученых и инженеров в 60-70-е годы повлияли на современное программирование. Сейчас мы пошли еще дальше! Вместе с Виталием Брагилевским обсуждаем выдающуюся личность Ады Лавлейс, и то, как в ее главном труде видны концепции современного программирования. Встречаем апрель с новым сезоном Podlodka Teamlead Crew, посвященным метрикам. Узнаем про базовый набор метрик тимлида, процессы внедрения и принятия решений на их основе, научимся избавляться от вредных метрик. Забирай билет со скидкой по промокоду TL_ADA: https://podlodka.io/tlcrew Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka …

Дата и время – не самый простой домен. То зимнее-летнее время, то часовые пояса не кратны часу. А что, если не надо привязываться к часовому поясу? Еще в чате распределенной команды написали, что митинг в 5PM, так когда подключаться? Как синхронизировать время с колонией на Марсе? Одни вопросы. И во всех них мы подробнейше разобрались с Никитой Прокоповым. Так что давайте сверим часы и приятного прослушивания! Хочешь научиться оптимизировать производительность UI приложения на лету? Ждем тебя 25-го марта на Android Podlodka Crew. Разберем полезные инструменты, подберем метрики и убедим бизнес выделить ресурсы на оптимизацию. По промокоду HIGH_PERFORMANCE будет приятная скидка в 500р. Не про…

Все ведущие подкаста недавно релоцировались в другие страны. А некоторые – даже несколько раз. Мы по себе знаем, насколько сложен процесс адаптации, и насколько просто вместо интеграции в новую культуру свалиться в одну из возможных крайностей. Юлия Белозерова, экспат с большим опытом и человек, изучающий вопрос культурной интеграции с научной стороны, рассказала про то, как к ней правильно подойти, чем интегрированные экспаты отличаются от неинтегрированных, как правильно проводить смоллтолки, заводить рабочие и личные отношения и преодолеть культурный шок. В новом сезоне Podlodka Product Crew без инфоцыганства и воды разбираемся в практическом применении ML и AI. Как внедрить AI-фичи в пр…

FemTech — технологии, которые улучшают жизнь и здоровье женщин. Если вы думаете, что дело заканчивается трекерами цикла… То, поверьте, этот выпуск вас удивит! Gender data gap — огромная и далеко не единственная проблема в сфере женского здравоохранения. Но наука, технологии, и общество не стоят на месте: создается все больше продуктов направленных на здоровье женщин и решение специфичных для них проблем. В этом выпуске вместе Ирой Евдокимовой, основательницей первого медиа о FemTech на русском языке, разбираемся, как технологии на любой вкус — от AI до блокчейна — помогают женщинам, а также что происходит на рынке FemTech продуктов. Яндекс Практикум поможет прокачать скилы и расти в IT-проф…

Продолжаем разбираться, за что отвечают разные C-level менеджеры, и в этот раз фокус на деньгах – говорим про CFO. Готовьте кошельки!

Поговорили про финансирование, планирование, управление рисками – и все это на масштабах от стартапа до корпорации. А в гостях у нас Денис Дубовцев. Начните учиться бесплатно и попробуйте вводную часть курса «Фулстек разработчик с нуля» Яндекс Практикума: https://clck.ru/38ydkW Реклама. АНО ДПО «Образовательные технологии Яндекса». ОГРН 1147799006123. erid 2SDnjdFywhz для Твиттера

Продолжаем разбираться, за что отвечают разные C-level менеджеры, и в этот раз говорим про CFO. Готовьте кошельки!

Поговорили про финансирование, планирование, и управление рисками …

Мы уже несколько выпусков посвятили тому, как правильно “готовить” тесты — составлять тест-кейсы, реализовывать и оптимизировать автотесты, поддерживать тестовую документацию. Но один вопрос остается открытым — а же все это тестирование проводить? В этом выпуске эксперт в DevOps Александр Тарасов, погрузил нас в мир тестовых сред. Мы не только разобрались в классическом разделении dev / staging / production, но и рассмотрели альтернативный подход с “миксом” сред, в котором нет выделенной среды для тестирования. Обсудили не только туллинг, но и извечный вопрос коммуникации разработичков и тестировщиков — в общем, как всегда, разобрали тему со всех сторон! Ведущие в выпуске:

Катя Петрова, Евг…

Результат работы программистов – код. Дизайнеров – макеты и красивые иконки. А вот с тестировщиками все намного интереснее! Вместе с Анастасией Заречневой, тестировщицей из JetBrains и создательницей сообщества QA Sisters, мы разбираемся, что такое тестовая документация, откуда вообще берутся тест-кейсы, какие хитрые практики тест-дизайна помогают оптимизировать их количество, и как эти тест-кейсы правильно хранить и использовать. Подкаст записан при поддержке Test IT — разработчика самой популярной в России TMS. Простая организация тестовой документации: ручные и автотесты в едином интерфейсе, удобное планирование, наглядная отчетность и широкие возможности интеграции. Бесплатный триальный…

В выпуске обсудили нескучные правила шахмат, а также разновидности шахмат. Рассмотрели шахматы как вид спорта, или даже киберспорта. Узнали как AI играет в шахматы, оценивает силу ходов, помогает совершенствоваться, а иногда – читерить. В гости к нам пришел Даня Пилин – создатель онлайн школы по шахматам в Skyeng, product owner. Бесплатный курс Практикума «Какую профессию в программировании выбрать» поможет определиться с направлением по душе:

https://clck.ru/38Z2NE Реклама. АНО ДПО «Образовательные технологии Яндекса». ОГРН 1147799006123. erid 2SDnjcBYN8Y Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.…

Беседуем с Сереем Суховым, создателем самого крупного Telegram-канала о стоицизме и тренажера по стоицизму.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Перед разговором с Сергеем Суховым о философии стоиков я решил записать короткий эпизод про принципы философии стоицизма.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Илья Параушкин — СЕО компании Biovolf. Биотех — необъятное поле для беседы. На этот раз продолжили разговор про экстремофилов, обсудили эволюцию, экосистемы, биологические катастрофы и перспективы человечества. Илью вы точно ещё у нас услышите.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Михаил Свердлов, ex-CBDO в Skypro, ex-Content Director в Skyeng, эксперт и консультант по образовательному продукту и аналитике, независимый CPO/директор по развитию и стратегии, автор телеграм-канала Образование, которое мы заслужили.У Миши очень богатый опыт в создании и развитии технологических продуктов на разных рынках, 5 лет из них в сфере образования. Последние 1,5 года Миша живёт в США.Ссылки:Канал «Образование, которое мы заслужили» https://t.me/ru_educationКанал «Камера хранения»https://t.me/schoolstorageИсследование с ВШЭ про аналитику в образовании и дата-центричный подход к построению образовательного контентаhttps://ioe.hse.ru/pubs/share/direct/547495575.pdfИсследование для Na…

Маша Грекова делает несколько проектов для взрослых людей с ментальными особенностями.Нормальное местоhttps://www.mestonorm.ruПростые вещиhttps://prostieveschi.ruОгурцыhttps://www.instagram.com/ogurtsinafontanke/Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Илья Параушкин — СЕО компании Biovolf.https://biovolf.com/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Аня Коган — СЕО OpenCV.AI и член совета директоров библиотеки OpenCV.Подпишись на Аню в телеграм https://t.me/aiandanyaSupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Арсений Веснин был журналистом Эха в Петербурге, а в 2022 стал капитаном яхты Ойкумена, на которой хочет пройти путём Одиссея. У Ойкумены есть телеграм, сайт и инстаграм.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

В заключительном эпизоде второго сезона мы пытаемся разобраться, как новое поколение нейросетей меняет науки и чем теперь заняться ученым, если больше не нужно даже писать рефераты. erid: 2SDnjdTbzaL Реклама. АО «Точка». ИНН 9705120864 Кольцо для бесконтактной оплаты от Точки: https://tchk.me/m4f2g4 Слушайте первые выпуски подкаста «Шум в ушах» на всех платформах https://cutt.ly/shu12vupc, а все восемь выпусков уже доступны в Apple Podcasts https://cutt.ly/shu1212vuap или в закрытом телеграм канале Либо/Либо https://cutt.ly/shu1212vutg

Сколько датчиков нужно роботу, чтобы не путать человека с тенью от пакета, зачем ставить лазеры на такси и почему гонка беспилотных автомобилей происходит не на стадионах, а в датацентрах erid: 2SDnjepcB5i Реклама. АО «Точка». ИНН 9705120864 Откройте счёт в Точке: https://tochka.com/rko-landings/brand-f/

В этом эпизоде трехногий Трамп идет за решетку, в небе парит знак «стоп», машины генерируют несуществующих знаменитостей, и мы почти лишаемся возможности верить своим глазам. Реклама. АО «Точка». ИНН 9705120864 erid: 2SDnjevWRtU Не упустите год бесплатного обслуживания в Точке https://tchk.me/ELNBOi

В этом эпизоде мы расскажем, почему великого лингвиста Ноама Хомского бесят нейросети, как чатджипити подставил целую юридическую фирму из Нью Йорка и кто смотрит на вас из диалогового окошка языковых моделей. Купить билет на конференцию ТОК можно по ссылке: https://clck.ru/36HEzc А с промокодом ЗДЕСЬ у вас будет скидка 25% Реклама. АО «Точка» ИНН 9705120864 erid: Kra23V3Uv Слушайте бонусные выпуски подкастов студии «Либо/Либо» по подписке «ЛибоЛибо+» в Apple Podcasts https://cutt.ly/vun10epap или в закрытом Telegram-канале https://cutt.ly/vun10eptg

В этом эпизоде мы расскажем, почему вам не кажется, что нейросети как с цепи сорвались. Как человечество попало в третью эпоху вычислений, а так же когда мы прошли первую и вторую и почему ничего не заметили. Откройте счёт в Точке https://tchk.me/gExbWX Реклама. АО «Точка» ИНН 9705120864 erid: Kra23opKJ

Topics include act: Run your GitHub Actions locally!, portr, Annotating args and kwargs in Python, and github badges.

Topics include Announcing py2wasm: A Python to Wasm compiler, Oven PyPI Browser, PyCharm Local LLM, and.

Topics include NumFOCUS concerns, leaping pytest debugger llm, , and PyPI has completed its first security audit.

Topics include How to Set Up Pre-Commit Hooks A step-by-step guide to installing and configuring pre-commit hooks on your project, difftastic, Quarto, and constable.

Topics include pacemaker, PyPI suspends new user registration to block malware campaign, Python Project-Local Virtualenv Management Redux, and Python Edge Workers at Cloudflare.

Topics include justpath, , LPython, and dramatic.

Topics include 🤖 On Robots.txt, niquests, Every dunder method in Python, and Lockbox.

Topics include pycountry, Does Python have pointers?, ingestr, and Make your terminal nice.

Topics include 6 ways to improve the architecture of your Python project (using import-linter), Mountaineer, Why Python's Integer Division Floors, and Hatchet.

Topics include zoxide, Smart CLIs with Typer, Python recommended officially by the US Government, and Textual tutorials at Mouse vs Python.

Topics include uv: Python packaging in Rust, jpterm, Everything You Can Do with Python's textwrap Module, and HTML First.

Topics include AppleCrate, One way to package Python code right now, Flask8 but why?, and.

Topics include Dokku, Summary of Major Changes Between Python Versions, speedtest-cli, and.

Topics include Granian, pytest 8 is here, , and New GitHub Copilot Research Finds 'Downward Pressure on Code Quality'

The interplanetary filesystem, or IPFS, is a peer-to-peer network that uses a distributed and decentralized model. Functionally, IPFS allows users to store and share files without having to rely on a single source of truth for those files. Matt Ober is the Co-Founder & CTO of Pinata. He joins the show to talk about IPFS

The post Pinata and the Interplanetary File System with Matt Ober appeared first on Software Engineering Daily.

Animal Well is a Metroidvania game developed as a solo project by Billy Basso over the course of seven years. It’s the first game released by publisher Bigmode, which was founded by Jason “Dunkey” Gastrow. Billy joins the show to talk about creating Animal Well’s engine from scratch, how the game handles animation, fine-tuning character

The post Animal Well with Billy Basso appeared first on Software Engineering Daily.

One of the most promising applications of large language models is giving non-experts the ability to easily query their own data. A potential positive side effect is reducing ad-hoc data analysis requests that often strain data teams. Sarah Nagy is the Co-founder and CEO at Seek which is using natural language processing to change how

The post LLMs for Data Queries with Sarah Nagy appeared first on Software Engineering Daily.

Almost every application or system involves some sort of user onboarding. Increasingly, companies must implement know-your-customer and know-your-business compliance, or KYC and KYB, as part of that process. In addition, they often handle personal identifiable information, or PII. Footprint is a developer platform that was co-founded by Alex Grinman for handling identity, security, fraud, and

The post Implementing KYC and User Verification with Alex Grinman appeared first on Software Engineering Daily.

Vue is a popular JavaScript frontend framework, and Nuxt is an open source meta-framework on top of Vue. Anthony Fu is a Framework Developer on the Nuxt team. He joins the show to talk about Vue, Nuxt, open source development, and more. Josh Goldberg is an independent full time open source developer in the TypeScript

The post Nuxt JS with Anthony Fu appeared first on Software Engineering Daily.

The size of ML models is growing into the many billions of parameters. This poses a challenge for running inference on non-dedicated hardware like phones and laptops. Argmax is a startup focused on developing methods to run large models on commodity hardware. A key observation behind their strategy is that the largest models are getting

The post Scaling Large ML Models to Small Devices with Atila Orhon appeared first on Software Engineering Daily.

Anaconda is a popular platform for data science, machine learning, and AI. It provides trusted repositories of Python and R packages and has over 35 million users worldwide. Rob Futrick is the CTO at Anaconda, and he joins the show to talk about the platform, the concept of an OS for AI, and more. This

The post Anaconda and Accelerating AI Development with Rob Futrick appeared first on Software Engineering Daily.

Panic has created games such as Firewatch and Untitled Goose Game. They recently ventured into gaming hardware with the Playdate. The console is unique for its inputs, which include a hand crank, and because Panic provides a free SDK, so anyone can develop games for it. James Moore is a DevOps Engineer and Dave Hayden

The post Engineering the Playdate Gaming Handheld with James Moore and Dave Hayden appeared first on Software Engineering Daily.

Machine learning models learn patterns and relationships from data to make predictions or decisions. The quality of the data influences how well these models can represent and generalize from the data. Nihit Desai is the Co-founder and CTO at Refuel.ai. The company is using LLMs for tasks such as data labeling, cleaning, and enrichment. He

The post Using LLMs for Training Data Preparation with Nihit Desai appeared first on Software Engineering Daily.

Kentik is a network observability platform that focuses on letting users easily ask questions and get answers about their network. Avi Freedman is the CEO of Kentik and he joins the podcast to talk about the platform, his observability philosophy, the role of AI in observability, and much more. Full Disclosure: This episode is sponsored

The post AI-Driven Observability at Kentik with Avi Freedman appeared first on Software Engineering Daily.

Solid.js is a popular JavaScript framework known for its reactive and efficient rendering system. Instead of using a Virtual DOM, it compiles its templates to real DOM nodes and updates them with fine-grained reactions. Ryan Carniato is the creator of SolidJS, and he joins the show to talk about the framework. Taylor Nodell is a

The post SolidJS with Ryan Carniato appeared first on Software Engineering Daily.

Sammy Steele is a Senior Staff Engineer at Figma, and the tech lead for their databases team. She previously worked at Dropbox, where she built out their petabyte-scale metadata storage and search systems. Sammy recently published a blog called “How Figma’s databases team lived to tell the scale”. The blog went viral and made it

The post Database Scaling at Figma with Sammy Steele appeared first on Software Engineering Daily.

Autonomous vehicle engineering is a huge challenge and requires the integration of many different technologies. A self-driving car needs data from multiple sensors, ML models to process that data, engineering to couple software and mechanical systems, and much more. Ian Williams is a Senior Staff Software Engineer at Cruise, and before that worked at Google,

The post Bonus Episode: How to Build a Self-Driving Car with Ian Williams appeared first on Software Engineering Daily.

Ben Huber is a security engineer who has worked at companies including Crypto.com and Blackpanda. He joins the podcast to talk about his career, penetration or “pen” testing, attack vectors, security tools, and much more. Gregor Vand is a security-focused technologist, and is the founder and CTO of Mailpass. Previously, Gregor was a CTO across

The post Security Engineering with Ben Huber appeared first on Software Engineering Daily.

George Mathew is a Managing Director at Insight Partners where he invested in Weights & Biases, Jasper, and others. He has over 20 years of experience developing high-growth technology startups including most recently being CEO of Kespry. George joins the podcast to talk about his path to becoming an investor, his data-first thesis about investment,

The post Startup Investing with George Mathew appeared first on Software Engineering Daily.

-=Выпуск 77=- Немного прогнозов про технологические интересности наступающего года; в основном те, которые касаются цифровой стороны нашего мира и её развития. В выпуске упомянуты мартовский (2023) и с его прогнозом на 2024

-=Выпуск 76=- О быстрой эволюции языковых моделей в мультимодальные и поведенческие, об интересных недавних анонсах и — неожиданно для меня самого — довольно много про книгу Гаспара Кёнига “Конец индивидуума”, которая недавно вышла в русском переводе и представляет интересную картинку взглядов сотни очень разных людей на развитие ИИ в пересказе и с комментариями французского философа.

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

When to use it Separating data fetching logic from UI components can sometimes introduce unnecessary complexity, particularly in smaller applications.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practical and also recommended to maintain data fetching within the UI components.

The main reason to not use parallel data fetch…

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

With this foundation, you should now be equipped to join me as we delve into the data fetching patterns discussed herein.

When to use it Separating data fetching logic from UI components can sometimes introduce unnecessary complexity, particularly in smaller applications.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practic…

Big Sur, CA

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

The cost factor plays an important role, as it involves building upon your legacy system, potentially straining your existing infrastructure further.

Coarse Seam: Data interactions as a Seam One of the primary areas of focus was the pervasive database accesses across programs.

This module fed data from multiple data pipelines, and applied Simple and Complex rules to DB2.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

The cost factor plays an important role, as it involves building upon your legacy system, potentially straining your existing infrastructure further.

Coarse Seam: Data interactions as a Seam One of the primary areas of focus was the pervasive database accesses across programs.

This module fed data from multiple data pipelines, and applied Simple and Complex rules to DB2.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

Martin Fowler: 28 Mar 2024As the enmuskification of Twitter continues, I’ve increasingly heard that more people are using LinkedIn to keep up with new professional material.

So, a couple of weeks ago, I set up my LinkedIn account, so people can follow me on that platform.

I’ve always avoided LinkedIn - I’ve found the whole vibe of connections rather off-putting.

But LinkedIn has added a “creator mode”, which encourages people to follow someone for posts rather than the bi-directional connection.

Sadly, LinkedIn doesn’t have lists, and pushes everything someone likes into the single connection feed.

I'd first met John Kordyback ten years prior to this.

Of more professional importance, he found much that appealed in our embrace of agile software development.

The world of agile software was very different in the early 2000s.

But the most important core principle of agile that John understood was that agile habits were founded upon humans working together.

When John went into the mainframe world, he listened to those already there.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

Abi Noda is the founder and CEO of DX , focused on helping organizations measure and improve developer productivity.

Organizations should prioritize measuring developer productivity using data from humans, rather than data from systems.

Figure 1: Qualitative metrics are measurements derived from humans The definition of the word “metric” is unambiguous.

An alternate definition we’ve heard is that qualitative metrics measure quality, while quantitative metrics measure quantity.

Advocating for qualitative metrics Executives are often skeptical about the reliability or usefulness of qualitative metrics.

From time to time people ask me for a copy of the code I used in the opening chapter of Refactoring, so they can follow along themselves.

Fortunately Emily Bache is more dedicated, and she has set up a github repository - the Theatrical Players Refactoring Kata - with the code, and enough tests to make it reasonable to do the refactoring.

The repository goes further than this, however, in that it includes similar sample code in a dozen languages, including C, Java, Rust, and Python.

She has recently posted a video to her YouTube channel, which outlines why she encourages folks to use this code while they are reading that chapter.

Her channel includes a lot of videos on good code technique, …

Measuring developer productivity is a difficult challenge.

Organizations should prioritize measuring developer productivity using data from humans, rather than data from systems.

Today, developer productivity is a critical concern for businesses amid the backdrop of fiscal tightening and transformational technologies such as AI.

An alternate definition we’ve heard is that qualitative metrics measure quality, while quantitative metrics measure quantity.

Advocating for qualitative metrics Executives are often skeptical about the reliability or usefulness of qualitative metrics.

Measuring developer productivity is a difficult challenge.

Qualitative metrics offer a powerful way to measure and understand developer productivity using data derived from developers themselves.

Organizations should prioritize measuring developer productivity using data from humans, rather than data from systems.

Today, developer productivity is a critical concern for businesses amid the backdrop of fiscal tightening and transformational technologies such as AI.

Advocating for qualitative metrics Executives are often skeptical about the reliability or usefulness of qualitative metrics.

Я начинаю серию коротких заметок о полезных функциях современного SQLite, про которые вы (возможно) не слышали.

Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют его «джаваскриптом в мире СУБД»).

Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.

Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же.

Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:Они проверяют типы так же, как традиционные СУБД вроде PostgreSQL или MySQL:Даже в строгой таблице можно объявить столбец как ANY — тогда в нем можно хранить значения любых типов.

В этой статье я предложу краткий и удобный формат интерактивной API-документации для любых HTTP API (REST, RPC и что угодно еще).

HTTP-статус 201 Created означает, что в результате запроса был создан новый пример.

Наконец, удалим пример:HTTP-статус 204 No Content означает, что мы удалили пример, поэтому гитхаб больше ничего не может о нем сообщить.

У Gists API есть и другие полезные возможности, но мы не будем их рассматривать.

length ; i ++ ) {Вызов API и показ результатов и того проще — используем браузерное Fetch API и выводим ответ как текст:

Проектная область видимости:$ cd /my/project $ sqlpkg init $ sqlpkg install sqlite/stmt $ tree .sqlpkg .sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibГлобальная область видимости:$ cd /some/other/path $ sqlpkg install sqlite/stmt $ tree ~/.sqlpkg /Users/anton/.sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibИ никаких флагов!

Вместо простого «выведи содержимое .sqlpkg» у нас теперь 4 возможных ситуации для каждого пакета:Пакет есть в .sqlpkg и в локфайле, причем версии совпадают.

Пакет есть в .sqlpkg и в локфайле, но версии отличаются.

type Package struct { Owner string Name string Version string Homepage string Repository string Specfile string Authors [] string License …

Язык OdinДавно подыскиваю для себя альтернативу языку C. Посмотрел на днях Rust, Nim, Zig, Hare и Odin.

А хотелось бы еще замену C.У Odin уникальный набор качеств:Простой язык без лишних прибамбасов.

Если исходный файл main.odin находится в текущем каталоге, собрать и запустить его можно так:docker run --rm --volume $(pwd):/sandbox --workdir /sandbox odin:latest odin run .

run : @docker run --rm --volume $( shell pwd ) :/sandbox --workdir /sandbox odin:latest odin run .

Но компания, в которой работает автор языка, активно использует Odin в продакшене, так что проверку реальностью он уже прошел.