HDInsight

by Rok Bermež 15. September 2012 12:49
Microsoft je skupaj s partnerjem Hortonworks naredil velik korak k izboljšanju Big Data funkcionalnosti na Windows strežnikih ter v svojem oblaku Windows Azure. V predogledu je testna različica HDInsight strežnika. Lokalna različica je na voljo za prenos in namestitev na lastni infrastrukturi, oblačna pa zahteva on-line registracijo s katero dobite povabilo, ki vam omogoča zastonjsko pet dnevno preizkušanje. Obe pa sta na voljo na Microsoftovem Big Data portalu. V ozadju HDInsight strežnika se nahaja Hadoop, ki je s strani Apache Software Foundationa sponzorirana odprtokodna implementacija Googlovega pristopa k hranjenju in obdelovanju masovne količine podatkov. Pristop MapReduce omogoča ‘scale-out’ procesiranja kupov strukturiranih in nestrukturiranih podatkov čez številčne gruče strežnikov. Velika podjetja, kot na primer Yahoo, so že dolgo uporabljala Hadoop za obdelavo podatkov o uporabniških klikih in s tem pridobila svojevrsten marketinški vpogled v svoje storitve. Microsoftov partner, Hortonworks, prodaja odprtokodne Hadoop rešitve in je bil ustanovljen s strani računalniških inženirjev iz Yahoojeve Hadoop ekipe. Tako Microsoft, kot Hortonworks, prispevata vso kodo razvito za potrebe HDInsight strežnika nazaj v odprtokodno skupnost. HDInsight strežnik je zastavljen tako, da omogoča organizacijam, ki uporabljajo Microsoftova BI (business intelligence) orodja, enostaven vplogled v masovne Hadoop podatke. Ta orodja vključujejo PowerPivot za Excell in PowerView za Sharepoint storitve, ki lahko prikažejo rezultate Hadoop poizvedb. Prav tako je na voljo obojestranski konektor, ki za potrebe analize strukturiranih podatkov omogoča uporabnikom premike podatkov med Hadoopovim datotečnim sistemom in Microsoft SQL Server 2012 strežnikom ter SQL Server 2012 Parallel Data Warehouse podatkovnim skladiščem. Tudi tehnologija StremInsight se lahko uporabi za obdelovanje pretočnih (streaming) podatkov, kot na primer procesiranje kompleksnih dogodkov. Microsoft je sodeloval pri integraciji upravljanja s svojim System Center produktom. Tako je mogoča uporaba Apache Ambari [i]v kombinaciji z System Centrom za upravljanje Hadoop gruč skupaj z ostalimi viri računalniškega okolja. Varnost je na Windows strežnikih nadgrajena z integracijo z Active Direktorijem. HDInsight trenutno vsebujen tako ‘stabilno’ različico Hadoop datotečnega sistema (HDFS) in MapReduce sistema za distribuirano procesiranje, kot ostale dele Hadoop ekosistema (Hive, Pig in Sqoop). Razvijalci pa smo dobili .NET SDK, ki nam omogoča pisanje MapReduce opravil s pomočjo Visual Studia. Na voljo je tudi možnost uporabe JavaScripta, tako za pisanje MapReduce opravil, kot Pig in Hive poizvedb. Uporaba JavaScripta v primerjavi z Javo zmanjša število vrstic kode za 10 krat. [i] Ambari je spletno orodje za namestitev upravljanje in nadzorovanje Apache Hadoop gruč

Tags:

Azure

Migracija Windows Azure storitev med različnimi uporabniškimi računi

by Rok Bermež 10. August 2012 07:45
  Windows Azure je v Sloveniji komercialno na voljo od 7.6. To je precej dobra novice za vse nove uporabnike, predstavlja pa zanimiv problem za vse tiste, ki so te oblačne storitve, preko raznih proksi podjetij iz drugih držav, uporabljali že prej. Smiselno bi bilo vse obstoječe rešitve prestaviti na slovenske uporabniške račune ter tako dobiti popolno kontrolo nad njimi in se pri tem še izogniti dodatnim posredniškim stroškom. Prenos Windows Azure storitev med naročninami je s pomočjo Microsoftove podpore možen, se pa je pri tem treba držati nekaterih pravil in poskrbeti, da je okolje za prenos pripravljeno. Za začetek postopka moramo seveda imeti ustvarjen nov uporabniški račun na katerega bi radi prenesli obstoječe storitve. Ta mora biti za uspešen prenos popolnoma prazen, kar posledično pomeni, da ne bo mogoče prenesti vsebine storitev iz več računov na enega. Prvi korak, ki ga moramo opraviti, je migracija SQL Azure podatkovnih baz. To lahko naredimo, če smo lastniki obeh uporabniških računov ali administratorji oz. co-administratorji na obeh računih. Na staremu upravljalen portalu (silverlight) izberemo virtualni SQL Azure strežnik, pritisnemo na gumb 'Move Server...' ter izberemo ciljni     uporabniški račun. Nekaj trenutkov za tem se bodo SQL Azure baze pojavile na novem računu, pri vsem tem pa baze s podatki ostanejo dosegljive pod enakimi pogoji kot prej. Nato preverimo (prav tako najbolje v starem portalu), če se na ciljnem računu res ne nahaja popolnoma nič, razen seveda prenešenih SQL Azure baz. Nobena zadeva ni dovoljena, ker bo že nek neuporabljen 'affiniti group' povzročil prekinitev prenosa. Preden stopimo v kontakt z Microsoftovo podporo moramo še poskrbeti, da bo administrativen email na obeh računih enak, kar naredimo tako da na spletnem mestu izberemo https://account.windowsazure.com 'account', nato naročnino in 'Edit subscription detail' ter spremenimo e-mail administratorja storitev. Postopek ponovimo še za drugi račun in smo pripravljeni na stik z Microsoftovo podporo za uporabnike. Na https://www.windowsazure.com/en-us/support/contact/ izberemo 'Windows Azure', temo 'Other' in opcijo pomoči preko spletne forme, kjer navedemo guid identifikatorja obeh računov ter vse ACS/Service bus/Caching imenske prostore, ki jih naše storitve uporabljajo. V kratkem nato pričakujte telefonski klic, v katerem se boste z Microsoftovim pogovorili o postopku vaše migracije ter razrešili morebitne nejasnosti. Ta pa se bo začel takoj, ko boste po e-mailu potrdili zapisnik tega telefonskega pogovora. Kot lahko vidimo, prenos storitev brez izpada njihovega delovanja ni nemogoč, zahteva pa nekaj dela in planiranja z naše strani. Če na kratko povzamemo celoten postopek, ki ga moramo opraviti na naši strani: Sql Azure baze selimo preko portala ročno, administratorski e-mail mora biti pri obeh računih enak, ciljni račun mora biti popolnoma prazen (razen SQL Azure) ter izvorni račun je po prenosu avtomatsko izklopljen.

Tags:

Azure

Oracle z oblaka

by Rok Bermež 27. March 2012 12:41
Oracle z oblaka Včasih dobi kdo fiksno idejo, da integracija med aplikacijami pomeni pisanje ene aplikacije direktno v podatkovno bazo druge. V primeru, da naša aplikacije teče v Microsoftovem oblaku, druga pa uporablja Oracle podatkovno bazo skrito na neki skriti interni mreži, pridemo do zanimivega problema. Če ga razdelimo na dva dela, vidimo da moramo prvo nekako fizično povezati naše oblačne VM na katerih teče naša aplikacija z strežnikom na katerem se nahaja Oracle, brez da bi ga pri tem izpostavili celotnemu internetu. Nato, pa bo treba še našo aplikacijo prepričati oziroma mogoče bolje primerno rečeno VM na katerem teče, da se bo dejansko znala pogovarjat z #«!#!. Za rešitev prvega problema lahko uporabimo mehanizem, ki sliši na ime Windows Azure Connect , in nam omogoča 'point to point' VPN povezavo med računalniki, ne glede na to na kakšnih mrežah in za kakšnimi požarnimi se nahajajo, seveda če imajo ti vsaj internetno povezavo. Tega se lotimo tako, da na Windows Azure management portalu prisurfamo na 'Virtual Network' sekcijo, izberemo naročnino ter zahtevamo aktivacijski žeton in s tem vklopimo to storitev za našo naročnino. Nato v naših oblačnih vlogah vklopimo Connect modul, tako da v ServiceDefiition.csdef dodamo: Ter mu v csconfig datoteki nastavimo specifično naš aktivacijski žeton: Za dostop do lokalnih virov, pa morama na vse računalnike do katerih bi radi dostopali namestiti Windows Azure Connect Endpoint programsko opremo, ki jo dobimo na naslovu (pri čemer moramo obvezno uporabiti Internet Explorer brskalnik): https://waconnecttokenpage.cloudapp.net/Default.aspx?token=moj_žeton_guid. Po namestitvi, se bo nekaj sekund kasneje računalnik pojavil kot aktiviran na management portalu. Preostane nam samo še konfiguracija naše virtualne mrežne topologije, kar naredimo tako da ustvarimo EndPoint skupino ter nastavimo primerna pravila. Pri čemer lahko obkljukajo 'Interconnected' opcijo in s tem poskrbimo, da se bodo tudi lokalni EndPointi videli med seboj ter bodo tako dosegljivi tudi drug za drugega in ne zgolj z oblačnih virov. Privzeto vlog v oblaku ne moremo pingati ker imajo vklopljen požarni zid, ki pa mu lahko z enostavno zagonsko nalogo (Startup task) dodamo novo pravilo in tako omogočimo tudi ping v oblak. Prvi problem je tako rešen in se lahko posvetimo drugemu. Povezava na Oracle podatkovno bazo iz .NET kode z uporabo Oracle.DataAccess knjižnice ni problematična dokler imamo na sistemu nameščene Oraclove ODAC komponente, ki pa jih privzeto na VMjih v Windows Azure Compute storitvah ni. Za njihovo namestitev bomo morali tako poskrbeti sami in sicer mora biti zadeva avtomatsko nameščena ob vsakem novem deploymentu. Prvi korak je iz oraclovega spletnega mesta poberemo zahtevane komponente; trenutno ODAC 11.2 Release 4 (11.2.0.3.0) with Xcopy Deployment, ki pa morajo biti 64 bitne in jih ni malo (okoli 60MB v kompresirani obliki). Tako bi v primeru, da bi jih deployali z našo aplikacijo, kar precej povečalo čas deploymenta. Zato jih je precej bolj smiselno odložiti v Azure Storage in poskrbeti da se v okviru zagonske naloge (Startup taska) naložijo na VMjev sistem, odpakirajo ter namestijo. PowerShell skripta, ki bo vse te naloge opravila bo izgledala nekako tako: Preden pa jo bomo v okviru zagonske naloge poklicali pa moramo poskrbeti, da bo poklicana zgolj v pravem in ne tudi v emuliranem okolju ter nastaviti politiko izvajanja PowerShell skript. Preostane nam zgolj registracija zagonske naloge v ServiceDefinition.csdef datoteki. Pozorni moramo biti, da imajo vse potrebne datoteke (*.cmd, *.ps1) 'Copy to Output Directory' opcijo nastavljeno na ' Copy always', nato pa lahko brez skrbi glede nadaljnjih popravkov in deplyomentov, na oblak namestimo našo aplikacijo, ki je sposobna komunicirati z 'on premises' Oracle podatkovno bazo.

Tags:

.Net | Azure | Visual Studio

Microsoft Cloud Training

by joze 17. February 2012 14:01
Dear Microsoft student, Expand your existing skills and acquire new skills on Microsoft’s cloud technologies including: Microsoft Office 365, Microsoft Exchange Online, Windows Azure, Windows Intune, Microsoft Hyper-V Server, Microsoft SharePoint Online, Microsoft Dynamics CRM Online, Microsoft System Center 2012 and SQL Azure. Microsoft has made available over 30 learning resources to enable you to explore these technologies, including: eBooks, E-learning clinics, short videos (a.k.a. learning snacks), and classroom training courses. Many of these valuable resources are free. To name a few: · Understanding Microsoft Virtualization Solutions (eBook) · Introduction to SQL Server 2012 (eBook) · Microsoft® Office 365: Connect and Collaborate Anywhere, Anytime (eBook) · Introducing Hyper-V in Windows Server 2008 R2 (learning snack) · SQL Server 2012: Cloud on Your Terms (learning snack) · Introduction to Microsoft Windows Azure Platform (learning snack) Microsoft’s cloud-based technologies are relevant to specific job roles. Start here: Microsoft Cloud Training To understand more, check out the Microsoft Learning Cloud Brochure. Thank you, and good luck!

Tags:

SQL | Azure | Office 365 | Hyper-V

Using Windows Azure Connect

by Rok Bermež 15. February 2012 18:25
Windows Azure Connect enables Windows Azure users to set up secure, IP-level network connectivity between their Windows Azure hosted services and local (on-premises) resources. To set it up, you must first connect to the Windows Azure Management portal and enable it for your subscription. Next you need to get the activation token. Then open the ServiceDefinition.csdef file and import the Connect module for your roles. <Imports> <Import moduleName="Connect" /> </Imports> And set the token in the csconfig file. <Setting name="Microsoft.WindowsAzure.Plugins.Connect.ActivationToken" value="your_ activation_token_guid" /> To gain access to local resources you need to install Windows Azure Connect Endpoint software that you get on https://waconnecttokenpage.cloudapp.net/Default.aspx?token=yourtoken After Connect Endpoint is installed, it will automatically “activate” itself with the Connect service which should take around 10 to 30 seconds. Once a local machine is activated, it will appear in the Virtual Network of the Management Portal when you select the “Activated Endpoints” node or the “Groups and Roles” node. Now you have to you can define your network connectivity policy in the Virtual Networks section of the Management Portal. If the “Interconnected” check box is checked, then machines that belong to the group will be able to communicate with each other via Connect. If it is set to false, then machines in the group will not be able to communicate with each other. You cant ping your roles in the cloud because their local firewall prevents it, but there is a fix for that. Just add a startup task that ads a firewall rule to the firewall. Echo Enable ICMP netsh advfirewall firewall add rule name="ICMPv6 echo" dir=in action=allow enable=yes protocol=icmpv6:128,any exit /b 0 Connect will automatically track changes made to your Windows Azure role and maintain connectivity. If you increase the number of Windows Azure role instances, Connect will automatically connect those new role instances based on the current network policy. The REALLY bad side of it is when you redeploy the app, you will have to add your new deployment to your network policy manualy, since we currently dont have this available in management api.  

Tags:

Azure

Calendar

<<  October 2017  >>
MonTueWedThuFriSatSun
2526272829301
2345678
9101112131415
16171819202122
23242526272829
303112345

View posts in large calendar

Page List

Month List