یک مهندس داده چه می کند_

خدمات سئو سایت
مونته کارلو، موناکو – 11 مه: مهندسان DS TECHEETAH برای مسابقه روی شبکه در طول … [+] جایزه الکترونیکی موناکو در مونت کارلو در 11 مه 2019 در مونت کارلو، موناکو آماده می شوند. (عکس از سام بلوکسام/تصاویر LAT)
LAT Images مهندس مهندسان داده. بدیهی است که دارند، سرنخ در نام است. اما یک مهندس داده واقعاً به عنوان بخشی از روال روزانه خود چه می کند و چگونه بر ما به عنوان کاربران برنامه های کاربردی نرم افزار سازمانی و خدمات داده امروزی تأثیر می گذارد؟ با توجه به اینکه همه توسعه دهندگان نرم افزار (معروف به برنامه نویسان) لزوماً خود را به عنوان مهندس داده طبقه بندی نمی کنند، چگونه این دو رشته با هم تفاوت دارند و در عین حال هنوز هم به اندازه کافی برای ایجاد یک پیوند همزیستی مثبت وجود دارند؟
از آنجایی که نظرات در مورد این موضوع اکنون در حال افزایش است، باید در نظر بگیریم که چه تعداد از مهندسان نرم افزار خود را مهندس داده می دانند و مهمتر از همه، باید بدانیم که مهارت ها و شایستگی های آنها در این زمینه تا چه حد است. اگر این کد «خط فرمان» نباشد که توسعه‌دهندگان دوست دارند انگشتان خود را در آن فرو کنند، مهندسان داده چه نوع فناوری‌هایی را به دست می‌آورند؟ آیا مهندسی داده به طور فزاینده ای مبتنی بر هوش مصنوعی خواهد شد و آیا این نقش در نتیجه تغییر خواهد کرد؟
این بسیاری از سوالات مهندسی داده است، بنابراین بیایید با یک سوال آسان شروع کنیم.
یک مهندس داده چیست؟ «این واقعاً یک تعریف متحرک است، زیرا نقش خود مهندس داده در حال تغییر است. هنگامی که ما شروع به انتقال علم داده و مهندسی داده به دنیای ارائه برنامه‌های کاربردی می‌کنیم، فوراً به متخصصان تجاری و متخصصان «تکنولوژی» (یعنی متخصصان امنیتی، متخصصان عملکرد، متخصصان اشکال‌زدایی) نیاز داریم که همه با هم در یک تیم بین رشته‌ای متحد کار کنند. ”
Reitbauer واقع‌بین است و می‌گوید که، واقعاً، ما هنوز با مهندسی داده‌ها به آنجا نرسیده‌ایم و مهارت‌ها در بسیاری از جوامع توسعه‌دهنده وجود ندارد، که ممکن است بخشی از این باشد که چرا ایده این تیم‌های کاری ترکیبی جدید تأیید شده است. او می گوید که از داخل Dynatrace (شرکتی که به طور سنتی برای خدمات مدیریت عملکرد برنامه های کاربردی ابری شناخته می شود)، مشتریان در حال عملیاتی سازی و تثبیت شیوه اجرای بارهای کاری داده های خود هستند. این بدان معناست که تیم‌های مهندسی داده‌ها باید شیوه‌های عملیاتی مدرن جدیدی مانند طرز فکر مهندسی قابلیت اطمینان سایت و عملیات‌هایی را که افراد باید مدیریت نوع جدیدی از حجم کاری فشرده داده را یاد بگیرند، اتخاذ کنند. به نظر می رسد Kubernetes به پلت فرم تثبیت این تلاش تبدیل شود.
بیشتر برای شما جدید Galaxy S25 Ultra Teases برنامه های جاه طلبانه سامسونگ از فصل 3، اپیزود 1 بررسی: بازگشتی وحشتناک به وحشتناک ترین نمایش در TVRaiders، آنتونیو پیرس نکاتی در مورد تغییرات فهرستی پس از از دست دادن تحقیرآمیز. برای ایجاد سرویس‌های هوش مصنوعی که به مردم نشان می‌دهد چگونه فیلتر یک جاروبرقی را تغییر دهند (برای مثال بسیار تصادفی). تمام آن داده‌های تصویری و ویدیویی باید دیجیتالی شده و از طریق برخی تکنیک‌های مهندسی داده نسبتاً پیچیده جمع‌آوری شوند. این مهارت ها به عنوان بخشی از برنامه درسی نرم افزار در دانشگاه ها تدریس نمی شوند و به ندرت در دنیای واقعی وجود دارند. ما باید از هم‌اکنون برنامه‌ریزی را برای موارد استفاده از برنامه‌های مهندسی داده در فردا شروع کنیم، قبل از اینکه اتفاق بیفتد.
این یک موضوع فوق‌العاده روان در محافل فناوری اطلاعات است، یعنی برخی از مهندسان داده تنها زمانی احساس راحتی می‌کنند که بتوانند خود را مهندس جریان داده بنامند، زیرا آنها با فناوری‌های پخش بلادرنگ مانند آپاچی کافکا کار می‌کنند. اینجا باید با دقت قدم برداریم.
خطوط لوله داده های تولید «مهندسین داده به دو دلیل اصلی برای موفقیت تیم های علم داده و هوش مصنوعی حیاتی هستند. در مرحله اول، آنها خطوط لوله داده را ایجاد می کنند که داده های آموزشی و آزمایشی را فراهم می کند که دانشمندان داده برای انجام تجزیه و تحلیل، ساخت مدل های ML و طراحی داده ها، محصولات ML و AI استفاده می کنند. ثانیاً، آنها خطوط لوله داده‌های تولید را می‌سازند که مدل‌های تولید را تغذیه می‌کنند و خطوط لوله ML/AI که دانشمندان داده و مهندسان ML می‌سازند، می‌سازند.
کارلسون به ما یادآوری می‌کند که در عمل، همه دانشمندان داده به مهارت‌های مهندسی داده‌های خوب نیاز دارند، زیرا دائماً نیاز دارند به داده‌های اضافی دسترسی داشته باشند، خطوط لوله داده‌ای را که به آنها دسترسی دارند ایجاد کنند و ویژگی‌های جدیدی از این داده‌ها ایجاد کنند. گاهی اوقات آنها نیاز به ساخت خطوط لوله داده تولید را نیز پیدا می کنند، اگرچه او موافق است که این یک روش توصیه شده نیست زیرا مهندسان متخصص داده معمولاً خطوط لوله کارآمدتر و قوی تر می سازند.
دکتر کارلسون از Domino گفت: «بهترین سازمان‌ها مهندسان داده را در تیم‌های علم داده و هوش مصنوعی خود تعبیه می‌کنند تا همکاری مستمر در طول فرآیند توسعه مدل را ساده‌تر کنند و با انجام این کار، زمان بیشتری را برای ارزش‌گذاری، عملکرد بهتر و قوی‌تر برنامه‌های ML و AI دریافت کنند». با ظهور هوش مصنوعی مولد، بسیاری از ناظران و رهبران کسب‌وکار به اشتباه تصور می‌کردند که علم داده و تخصص هوش مصنوعی دیگر ضروری نیست و مهندسان داده، مهندسان نرم‌افزار همه آن چیزی هستند که برای ساخت برنامه‌های هوش مصنوعی لازم است. متأسفانه، این کمک بزرگی به انبوهی از اثبات پروژه‌های مفهومی است که موفق به تولید نشدند و ناامیدی فزاینده از هوش مصنوعی مولد به‌عنوان یک فناوری دگرگون‌کننده.»
مهندسی داده موفقیت‌آمیز برای موارد استفاده از هوش مصنوعی مولد سازمانی در خدمات مشتری، فناوری و داروسازی زیستی و مهارت‌های تخصصی ML و AI می‌تواند سرنخ‌هایی را در مورد مهارت‌های مهندسی داده مورد نیاز امروز در اختیار ما قرار دهد. ما به متخصصان داده نیاز داریم که بتوانند یک مشکل کسب و کار را درک کنند، آن را تجزیه کنند تا با استفاده از روش‌های ML و AI قابل حل باشد، طراحی و توسعه مکرر، آزمایش و اعتبارسنجی راه‌حلی متناسب با نیاز کسب‌وکار و ایجاد یک خط لوله قوی ML/AI که یک خط لوله قوی را ایجاد کند. طیف وسیعی از اجزای فناوری هوش مصنوعی جدید
«اینها مهارت‌هایی نیستند که مهندسان داده (یا توسعه‌دهندگان) در آن آموزش دیده‌اند، و نه فرصتی برای کسب این مهارت‌ها به عنوان بخشی از نقش‌های عادی خود دارند. با این حال، مهندسان داده اغلب پیش نیازهای عالی برای تبدیل شدن به دانشمندان داده موفق، مهندسان ML و نقش جدید “مهندس AI” دارند، فقط به آموزش، فرصت و تجربه بیشتری نیاز دارد.
جان رز، مدیر ارشد فناوری جهانی و مدیر ارشد هوش مصنوعی در Dell Technologies می گوید که هر آرزوی هوش مصنوعی به مهندسی داده نیاز دارد، زیرا بدون پایه مدرن داده، نتایج هوش مصنوعی که ما می خواهیم هرگز محقق نمی شوند. او به ما یادآوری می‌کند که محیط‌های داده مدرن دیگر با اجزای منفرد مانند پایگاه‌های داده، سیستم‌های استخراج-تبدیل-بارگذاری ETL، ابزارهای تحلیلی و غیره تعریف نمی‌شوند. در عوض، سیستم‌های داده مدرن مجموعه‌ای از فناوری‌های متصل هستند که مسیرهایی را بین منابع داده – حسگرها ایجاد می‌کنند. ، برنامه ها، سیستم های تله متری، پورتال های مشتری – و سیستم هایی که می توانند ارزش را از آن داده ها استخراج و استخراج کنند، از جمله چت ربات های هوش مصنوعی، ابزارهای تحلیلی هوش مصنوعی، ابزارهای داده های بزرگ و سیستم های عامل.
با این حال، این سیستم های داده مدرن در مورد ایجاد ارتباط بین مجموعه های منفرد از داده ها و ابزارهای واحد برای استفاده از آن داده ها نیستند. در عوض، سیستم‌های داده مدرن یک پارچه یا مش ایجاد می‌کنند که به این ابزارهای مدرن اجازه می‌دهد به داده‌ها از طیف وسیعی از منابع دسترسی داشته باشند و بینش‌های ترکیبی واقعی ایجاد کنند. به مدل‌های هوش مصنوعی فکر کنید که می‌توانند محتوا را در بسیاری از منابع سازمان‌دهی کنند، هوش مصنوعی‌هایی که می‌توانند کل فرآیند فروش را درک و بهینه کنند و هوش مصنوعی‌هایی که می‌توانند کل تجربه مشتری را از خرید تا خدمات درک کنند و با آن درگیر شوند. امروز و در آینده، مهندسی داده مهارتی است که این سیستم داده مدرن را تعریف، اجرا و راه‌اندازی می‌کند.»
طبق یکی از سؤالات اصلی ما که در ابتدا در اینجا مطرح شد، آیا رز احساس می کند مهندسی داده به طور فزاینده ای مبتنی بر هوش مصنوعی خواهد شد و آیا در نتیجه نقش تغییر خواهد کرد؟
«بله! یک شرکت مدرن امروزی می‌تواند از پتابایت تا اگزابایت تا حتی زتابایت داده‌های داخلی در همه منابع داشته باشد (این مقدار چندین برابر بیشتر از داده‌هایی است که برای آموزش بزرگترین LLM‌های امروزی استفاده می‌شود). استفاده از هوش مصنوعی در آن شرکت مدرن به اکوسیستم داده‌ای آنقدر بزرگ و پیچیده می‌خورد که درک یا کار دستی برای هر انسانی غیرممکن است. به همین دلیل، تنها راه برای موفقیت مهندسی داده مدرن، استفاده تهاجمی از ابزارها و سیستم‌های هوش مصنوعی برای افزایش تلاش‌های انسانی مورد نیاز است. با این حال، ما باور نداریم که ابزار کمک خلبان اولیه (ابزارهایی که انسان را در انجام یک کار تقویت می‌کند) کافی باشد.»
او بر نحوه حرکت کارها تاکید می کند و می گوید که خوشبختانه اکنون در حال ورود به عصر عوامل مستقل هوش مصنوعی هستیم، بنابراین مسیر اجتناب ناپذیر این است که مهندس داده های انسانی کمتر انجام دهنده وظایف و بیشتر به یک سازمان دهنده عوامل مستقل تبدیل شود. که می تواند کار را انجام دهد. رز از ما می‌خواهد یک مهندس داده انسانی را تصور کنیم که اهداف و دستورالعمل‌های یک استراتژی داده را تعیین می‌کند اما سپس کار در برنامه‌ریزی، معماری، پیاده‌سازی و حتی عملیات را به عوامل تخصصی هوش مصنوعی واگذار می‌کند که این وظایف را به طور جمعی اجرا می‌کنند.
زمانی که آنها کار می کنند، انسان در این حلقه است تا مطمئن شود که گیر نمی کند، با اهداف تجاری هماهنگ است و در صورت نیاز به تلاش های جدید، می توان آن کار را تعریف کرد و به عوامل مناسب واگذار کرد. این ایده از عواملی که برای مهندس داده کار می کنند و با آن ها کار می کنند، مسیری را به ما می دهد تا در سیستم های داده در مقیاس پتابایت، اگزابایت یا حتی زتابایت کار کنیم. با توجه به این، نقش مهندسی داده تبدیل به یک متخصص در معماری داده‌های مدرن و رهبر تیم‌هایی از انسان به‌علاوه عوامل مستقلی می‌شود که کار مورد نیاز برای ارائه نتایج داده‌های مدرن در عصر هوش مصنوعی را انجام می‌دهند.»
نظرسنجی ما گفت: از آنجایی که این بحث ادامه دارد، گسترش می‌یابد و محکم می‌شود، (در زمان نگارش مقاله) برای فروشندگان فناوری غیرمعمول نیست که در طول جلسات اصلی کنفرانس سالانه نظرسنجی‌های زنده با کد QR برگزار کنند و از شرکت‌کنندگان بپرسند که چه تعداد از جمع‌آوری‌شده به عنوان داده شناسایی می‌شوند. مهندسان امروز
این تعداد مرتباً در حال افزایش است، اما اکثر کسانی که بله می‌گویند احتمالاً می‌گویند که اساساً در وهله اول حرفه‌ای توسعه نرم‌افزار هستند. از آنجایی که این نقش خود را تثبیت می کند و به طور دقیق تر مدون می شود، شاید بتوانیم به نظرات اساساً کاملاً روانی که در پایان دهه جاری اینجا ارائه شده است نگاه کنیم و ببینیم که چقدر پیشرفت کرده ایم.
ردیفی از ربات های شخصی Topo، در مرکز مونتاژ آنها در کالیفرنیا. (عکس از راجر … [+] Ressmeyer/Corbis/VCG از طریق گتی ایماژ)
Corbis/VCG از طریق Getty Images مرا در توییتر یا لینکدین دنبال کنید. Adrian BridgwaterFollowing من یک روزنامه نگار فناوری با سه دهه تجربه مطبوعاتی هستم. در درجه اول من به عنوان یک نویسنده تحلیل خبری کار می کنم که به توسعه برنامه نرم افزاری “بیت” اختصاص دارد. من بخش زیادی از بیست سال گذشته را صرف تمرکز بر منبع باز، تجزیه و تحلیل و علم داده، محاسبات ابری، دستگاه های تلفن همراه و مدیریت داده ها کرده ام. من سابقه گسترده ای در ارتباطات دارم که از رسانه های چاپی، روزنامه ها و همچنین تلویزیون شروع می شود. در هر صورت، این به من ساعت‌های کافی تجربه خسته‌کننده بدبینانه می‌دهد تا چرخش را از ماده جدا کنم، حتی زمانی که محصولات براق و جدید هستند.”>

* استانداردهای تحریریه چاپ
* چاپ مجدد و مجوزها