PowerShell for a Data Scientist 1

Behind The Scene

I was writing some new functions to clean up a large messy data set (10+ GB) in Python 3. I wanted to make a small subset of my initial file (~ 100 KB) to test my functions and scripts. I was on my laptop that runs a Windows 10. So I decided to use the Windows PowerShell to make my small subset.

You can achieve this with a one-liner.

Windows PowerShell
Windows PowerShell

Code:

The following one-liner does the trick.

Write-Output (Get-Content .\my_big_data.csv -totalcount 20) > my_subset.csv

The structure of the code is  as following:

Write-Output INPUT > OUTPUT.

For INPUT we have a term inside parenthesis that says (Get the Content of the file but only the first 20 lines).

Hope this helps!

PS1: What is your favorite way of sub-setting a huge file (in Linux/Unix or Windows)?

PS2: Take a look at this very nice post on Windows Powershell.

 

Why I’m happy about the #IranDeal

I am happy!
After 22 months of what seemed to be an endless (and at some points futile) negotiations, Iran and P5+1 signed a deal on an unnecessary, decade- long crisis over Iran’s Nuclear Program. 11141257_10155807896305486_641910199909682575_nI call it unnecessary because it could have been avoided if different people where in the office in Iran’s and P5+1’s. I am happy for the people of Iran as the sanctions brutally underwhelmed the country’s economy and nobody felt this and suffered more than an Iranian patient whom couldn’t buy his medications due to the sanctions.

I am happy because…
Middle Class
Some believe that during AhmadiNejad’s era Iranian middle class disappeared! Partially due to the crippling sanctions and the unprecedented mismanagement. This is in fact very alarming, since the sciopolitical transition towards democracy is powered by middle class. The sanctioned injured the middle-class. The class that generally seeks social progress; the class that changes Iran towards moderation and modernization. During the post #IranDeal celebrations in Tehran’s street, there are videos that show how people are demanding the government to free their Green leaders. They were carrying signs that say “This is the end for the hardliners“.

As Mir Hossein Mousavi said 6 years ago:

Protect the fire of hope in your hearts. Hope is the core of our identity.

 

 

Wake up successful

Old Days

In middle school and high school, I used to be a morning person. I woke up around 4:00 am every weekday and study. That was basically my 2:30 hours of study time! It was working and I could ace tests. But during the holidays and summer time my schedule was very different! Whenever I could, and this is true for even earlier stages in my life, I would stay awake in my room, play, read, make things and listen to the radio (quietly). I would go to bed around 6:00 am in the morning!

I cherished the “me time“, in the silence and tranquility of night. That’s when I first learned and experienced the importance of giving yourself, some time alone. I was utterly benefited from the deep relaxation (almost meditative state) and I was CREATIVE! That was the time that I came up with experiments, magnetically operating elevators and poems.

Another interesting observation was that when I woke up early in the morning, I had my mind all to me! It was noise-free and very focused (although some times a bit sleepy, specially in winter nights! But a cup of hot tea could solve the problem).

College

College time was a very different story. Sleepless nights were common. Nights of being an amateur astronomer and star gazing in the middle of desert or mid-night hikes to pulling an all-nighter for studying, were all amazing. The almost limitless energy of the early twenties made me feel invincible! I was warned about this fleeting energy!

Now

More than anytime, I know the importance of having a good, strong and energized morning. It’s all about making a ritual that suits you and little by little add to it. I started with baby steps. First, I get up brush my teeth and then drink a cup of water. I want to hydrate my body but I don’t want to wash down all the germs 🙂

Then I added two more steps to my morning ritual. I look at my to do list (I use to-doist because they have an app for nearly every possible platform!), and imagined which three tasks are the most important ones and I will have to achieve them!

Recently, I read a book called “Wake Up Successful” by Steve J. Scott which was a part of a bundle.Scott's bundle of books

This is a very straight forward read with practical suggestions. It has many samples of how you can practically add something to your morning ritual. The author argues that you can have a energized start in the morning (by designing a ritual of about 30 min) and then FOCUS on One task that improves you and is of the utmost importance for you for ONE HOUR. This can be starting your business, running a marathon, learning a new language, write a novel or your thesis!

 

Sneaky Scientists 1 :)

…in our experiment the “exact position” of the particle is a mere speculative concept, like the gender, color or happiness of the particle. These degrees of freedom may also exist but if they cannot be measured then we should not include them in the description of the physical world.

 

Nonequilibrium Many-Body Theory of Quantum Systems: A Modern Introduction.

By: Gianluca Stefanucci

 

Python code to find the angles between two planes in a molecule.

Python code to find the angles between two planes in a molecule.

Enter the coordinates of the atoms that are making the plane.

Download: angle_plane.py

 

به یاد محمد رضا لطفی

مدتی می‌شود که دست به قلم نبرده‌ام و این‌جا حسابی گرد و خاک گرفته است. اما نمی‌شد بی‌تفاوت بگذرم از محمد‌رضا لطفی. از دست لطفی گله دارم و داریم از آن‌چه در سال‌های آخر کرد ولی اکنون که فقط سه سال است از ایران دورم می‌توانم ذره‌ای درک کنم که چه بر سرش آمد که چنین کرد

بگذریم.. لطفی بی‌گمان کسی است که بیش از بقیه‌ی تارنوازان مضراب‌هایش را می‌فهمم. یعنی وقتی می‌نشیند درددل می‌کند، گویی روایت درد مشترک می‌کند و بیش از بقیه‌ی نوازندگان حسش را در می‌فهمم.

به نظرم کمتر کسی به خوبی لطفی جواب آواز را نمی‌دهد… عشق داند به وضوح نشان می‌دهد که جواب آواز را که درست بدهی می‌توانی خواننده را به انتهای هنرش برسانی… من آواز خواندن لطفی را هم می‌فهمم و حتی دوست دارم و سه تار نوازی شلوغش را

دلم تنگ است و افسوس می‌خورم از این که غریبانه می‌میرند هنرمندانه سرزمینم.

قطعه‌ای که برایتان از لطفی می‌گذارم، یک محفل خصوصی است در بیات اصفهان…جانسوز است و عاطفه در آن موج می‌زند… گویی لطفی با خودش خلوت کرده و ما بی‌ان‌که بداند نشسته‌ایم به تماشا و نیوش می‌کنیم آوای درونش را

سایه درباره‌ی این بیات اصفهان می‌گوید که نمی‌تواند تا آخرش گوش دهد و می گوید که به لطفی گفته چه مرگته! چرا این‌طور ساز زدی

جالب این‌که در پایانش لطفی می‌گوید

ببخشید

لینک به اثر

 

زمستان

دست به دامن نوشتن می‌شوم تا قدم بزنم به سرای آشنایی. و دلتنگی آغازیست بر پایان سال، در آن‌ لحظه که می‌شماری و با خودت می‌گویی و این چهارمین بهار دوری است.

لطفی، پرواز عشقش را می‌نوازد و باد می‌وزد و من بی‌آن‌که شمیم باد نورزی را ببویم، عاشقانه پرواز می‌کنم از این غربت به آن وطن که در آن دلم غریب بود. دلم سفر می‌خواهد. سفر با یارانی موافق، که نگاهی به یکدیگر می‌انداختیم و می‌خندیدم، که گفتگومان از سر دل بود و محتاج صدا نبود گاهی.

دلم خیابانگردی تهران قدیم را می‌خواهد. آن‌جا که با ک. قدم می‌زدیم و راه می‌افتادیم تا خودنویسی بیابیم درخور برای استاد.

خنک نسیمی می‌وزد و مرا هوایی می‌کند که دوباره نیمه شبی صعود کنیم به قله و کمی مانده به ایستگاه پنج برف‌ها را کنار بزنیم و چوب‌های خشکی را که به همراه آورده‌ایم، آتش بزنیم و در سکوت دلمان برای وطنمان بسوزد و بعد بی‌خیال نابه‌سامانی شویم و لبخندی بزنیم و دور هم دوستی را معنی کنیم. کجاست یار عزیز… کجاست هم‌مسیر من؟ کجاست دوست من؟

ک.، زهرخندمان دردناک است آن‌گاه که به تماشا می‌نشینیم و نظاره می‌کنیم اضمحلال <من> را. آن‌جا که پر پروازمان را قوت رفتن به آسمان آرزو نیست. آن‌گاه که فراموش می‌کنیم خود را. برادر قیمت آزادی زیاد بود. از قفس رها شدیم ولی بال و پری برایمان نمانده بود انگار. شدیم آن طوطی هندی بازرگان… این بار بی‌قفس…ولی جداافتاده از هم و دور افتاده از خویش.

مخالف بزن لطفی دلم مویه می‌خواهد.

 

Get the message!

The moment when your girlfriend buys you a planner. Is that a sign or what 😀

Plan Ahead Medium Home/Office 18 Months Planner, July 2013 – December 2014, Assorted Colors, Color May Vary, 1 Planner (85095)18 month plannerwidth=”1″ height=”1″ border=”0″ />

 

 

You, who I’d never know you.

I’m sitting in the patio and my mind drags me toward you. You, whom I never knew and I will never get a chance to know but you have inspired me in a moment filled with the bitterness of knowing. Knowing about a tragedy of loss.

Today, I saw your name on the roster with a sign that showed you passed away (Leukemia). Boy, you inspire me. Signing up for your classes while knowing about your condition? What am I doing in life….

 

نشان داغ دل ماست لاله‌ای که شکفت

به زندگی رنگ زدن را تجربه می‌کنم، چون از زنگ زدن می‌ترسم بانو. من مردی سیاه و سفید بودم و آهن وجودم زنگ زد از زنگار نشسته بر آیینه‌ی دل، پس دل به دریای مواج سپردم و ساحل سلامت را رها کردم. کشتی‌ای ساختم که گمان می‌کردم خم به ابروانش نخواهد آمد از پس امواج خروشان اقیانوس اما دریغ که سردی و فسردگی یخ‌ها را ندیده گرفته بودم. آتشفشان خروشان عشق بودم و تنها عایدمان از این شرر، آتشی بود که به جان افتاد و سوزاند مرا.

پناهی باش مرا بانو… پناهی باش که به دور از هیاهو مرهمی بیابم زخم را و شاید که مرحم * گردم به یافتن محرم.

* کسی که به او مهربانی فراوان بشود.

** این مطلب تقدیم می‌شود به یک دوست.