In timeseries forecasting, the phenomenon that is most difficult to identify, yet the most dangerous to handle is "self fulfilling prophecy". Let me give you an example. Let's say you own a coffee shop. I give you a forecast that underestimates the demand for a given day. You take that forecast and schedule your baristas … Continue reading Self Fulfilling Prophecy
Author: Shah Mahdi Hasan
টাইমসিরিজ ফোরকাস্টিং, ড্যানিয়েল কানেম্যান এবং নিকোলাস নাসিম তালেব
গত এক বছর ধরে আমার অন্নবস্ত্রের সংস্থান ঘটছে টাইমসিরিজ ফোরকাস্টিং করে। অন্যান্য মেশিন/স্ট্যাটিস্টিক্যাল লার্নিং খাতগুলো থেকে টাইমসিরিজ ফোরকাস্টিং কিছুটা আলাদা এবং ঝক্কির কাজ। একটু উদাহরণ দিই। একটা বিড়ালের ছবি'র যেসব হাই লেভেল ফিচার, সেগুলো সময়ের সাথে সাথে আচমকা বদলে যায়না (বিবর্তন একটা অত্যন্ত দীর্ঘমেয়াদী প্রক্রিয়া)। এজন্য একটা মডেল ট্রেইন্ড হয়ে গেলে সেটার উপযোগিতা ভবিষ্যতে বেশ … Continue reading টাইমসিরিজ ফোরকাস্টিং, ড্যানিয়েল কানেম্যান এবং নিকোলাস নাসিম তালেব
Avoiding Data Leakage in Timeseries 101
You've Already Made The Choice. You're Here To Understand Why You've Made It.The Oracle, The Matrix Reloaded Timeseries is one of the very few data disciplines where things are getting difficult to model, almost every day. For example, the abundance of data is a great news for many other domains. We can train better model … Continue reading Avoiding Data Leakage in Timeseries 101
আব্বু
আমার জন্ম উনিশশো নব্বই সালের দশই নভেম্বর। ঐ সময় পুরো ঢাকায় কারফিউ চলছে, প্রবল থমথমে ভাব। স্বৈরাচারী এরশাদ প্রায় পতনোন্মুখ, নূর হোসেন বুকে পিঠে গণতন্ত্রের গান লিখে ঝাঁঝরা হয়ে গেছেন বুলেটে। এর মধ্যে আব্বু তাঁর ফিরোজা ভেসপা'র মাথায় একটা সাইনবোর্ডের মত বসিয়ে বের হয়ে গেলেন আমাকে দেখতে, মুক্তি নার্সিং হোমে। এখনো আছে মুক্তি নার্সিং হোম, … Continue reading আব্বু
Randomized SVD with Power Iterations for Large Data Matrices
What is Randomized SVD? Few days ago, I happened to come across a question in a forum. Someone was asking for help about how to perform singular value decomposition (SVD) on an extremely large matrix. To sum up, the question was roughly something like following "I have a matrix of size 271520*225. I want to … Continue reading Randomized SVD with Power Iterations for Large Data Matrices
My transition from MATLAB to Julia and learning from previous mistakes
I have been using MATLAB for eight good years. MATLAB served and still serves my purpose beautifully. In this entire span of time, I made repeated attempt to switch my go-to language from MATLAB to other alternatives, like Python or R, several times. The reason has never been that my work require something that is … Continue reading My transition from MATLAB to Julia and learning from previous mistakes
Build the most powerful hypothesis test: Part 2
In the post Build the most power hypothesis test: Part 1 we introduced Neyman-Pearson criterion and Sufficient Statistic. In this post, using both of these ideas we will develop an optimum decision rule. To interactively generate likelihood functions and see the impact of choosing $latex \mathrm{P_{FA}}$, do not forget to try the Shiny app linked … Continue reading Build the most powerful hypothesis test: Part 2
Build the most powerful hypothesis test: Part 1
I tried my best not to come up with such a click-bait-y title for this post. However, Mr. Neyman (1894-1981) and Mr. Pearson (1895-1980) didn't leave much room for that. This is Part-1 of this two-part post. I have built an interactive Shiny app in R for visualizing what goes under the hood of these … Continue reading Build the most powerful hypothesis test: Part 1
Breaking down confusions over Fast Fourier Transform (FFT)
(This blog has already been appeared at my Medium and can be found here. Later, Analytics Vidhya published it under their publication as well.) Fourier Transform is undoubtedly one of the most valuable weapons you can have in your arsenal to attack a wide range of problems. FFT is literally the bread and butter for … Continue reading Breaking down confusions over Fast Fourier Transform (FFT)
মনোলগ
কবিতা’র একখানি ছোট বই ছিলো আমার। হাশেম খানে’র জলরঙ ইলাস্ট্রেশন তাতে- কেবল শাদা আর কালো। বইটা খুললেই ভেতর থেকে ক্যামন বিষাদময় বর্ষা ঝিরঝির করে বের হয়ে আসতো। ইনস্তাগ্রামে’র চৌকো ফ্রেমে নয়- সাধু মতিনে’র দ্বীপে যেমন করে দ্যাখেছিলাম- ঠিক তেমন একটা আশমান মেলে যেতো। পিঁপড়ার মত অষ্টপ্রহর গাড়ি দৌড়ে যাওয়ার একটা মেট্রোপলিসের শিশু ছিলেম- বুনো হাঁসের … Continue reading মনোলগ
Shah Mahdi Hasan 